最近，领先的互联网基础设施公司Cloudflare指控了由人工智能驱动的搜索引擎Perplexity非法爬取和抓取那些明确禁止此类行为的网站内容。尽管这些网站采取了技术措施来防止数据提取，但Cloudflare的检测机制显示Perplexity继续访问和收集这些受限页面的信息。这一事件引发了对人工智能爬取行为的伦理影响以及对网站所有者要求更严格遵守的关注。随着人工智能技术的发展，数据可访问性与尊重数字边