Perplexity AI 被指控秘密抓取被禁止的网站内容
根据互联网基础设施提供商 Cloudflare 的最新研究报告,人工智能初创公司 Perplexity 被指控在抓取网站内容时忽视了明确的阻止指令。Cloudflare 表示,他们观察到 Perplexity 在尝试抓取网页时隐藏了自己的身份,以此规避网站的偏好设置。 Perplexity 等人工智能产品通常依赖于从互联网收集大量数据,而这些初创公司长期以来在未获得许可的情况下抓取文本、图像和视频,以便支持其产品的正常运作。近年来,许多网站通过使用标准的 Robots.txt 文件来应对这一问题,该文件指示搜索引擎和 AI 公司哪些页面可以被索引,哪些页面不可以。然而,当前这些努力的成效并不显著。 根据 Cloudflare 的分析,Perplexity 似乎通过更改其机器人的 “用户代理” 来绕过这些限制。“用户代理” 是指用于识别网站访问者的设备和版本类型的信号。Cloudflare 还提到,Perplexity 更改了其自治系统网络(ASN),这是一个识别互联网上大型网络的数字标识。Cloudflare 在数万个域名和数百万个请求中观察到了这一行为,凭借机器学习和网络信号的结合成...


