Hacker News:AI 热帖· speckx·· 5 天前AI 评分37
AI 爬虫借 referrer spam 伪装来源访问网站
AI scrapers are hiding behind referrer spam
AI 导读
网站作者发现大量伪装成美国某医疗机构来源的访问,实际是 AI 爬虫借 referrer spam 遍历其无关页面。传统 referrer spam 曾用于骗取站长点击并提升搜索引擎排名,而目前没有有效方法阻止这类爬虫活动污染来源日志。
来源:Hacker News:AI 热帖 · disassociated.com