热点事件持续更新
研究称约21%网站在robots.txt屏蔽AI爬虫
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年10月15日，Hacker News“AI热帖”援引一项研究称，Ciphercue于2026年10月8日抓取110,744个网站的robots.txt文件，并对照19种AI爬虫进行分析。结果显示，21.3%的网站至少屏蔽一种AI爬虫，其余78.7%的网站没有任何相关屏蔽规则。目前该事件仅见这一研究数据及论坛讨论，尚无后续更新或更正报道。
AI 根据报道生成 · 2 小时前更新
最新进展10月15日 20:15
研究显示110,744个网站中21.3%至少屏蔽一种AI爬虫。报道时间线
沿着报道，了解事件的不同侧面。
10月15日
- Hacker News：AI 热帖研究显示 110,744 个网站中 21.3% 至少屏蔽一种 AI 爬虫
Ciphercue 于 2026 年 10 月 8 日抓取 110,744 个网站的 robots.txt，并对照 19 种 AI 爬虫，发现 21.3% 的网站至少屏蔽一种，78.7% 没有任何规则。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。