研究显示 110,744 个网站中 21.3% 至少屏蔽一种 AI 爬虫

Ciphercue 于 2026 年 10 月 8 日抓取 110,744 个网站的 robots.txt，并对照 19 种 AI 爬虫，发现 21.3% 的网站至少屏蔽一种，78.7% 没有任何规则。