不幸的是，如果您的网站内容是公开可访问的，那么没有一种万无一失的方法可以阻止大型语言模型（LLM）的爬虫。其中许多爬虫会无视 robots.txt 文件，甚至试图伪装成人类访客（使用不同的用户代理和 IP 地址）来绕过封锁。希望某种法律监管能够为这种情况设立护栏，因为看起来许多人希望拥有选择权，决定自己的内容是否以这种方式被使用！
5 个赞
不幸的是，如果您的网站内容是公开可访问的，那么没有一种万无一失的方法可以阻止大型语言模型（LLM）的爬虫。其中许多爬虫会无视 robots.txt 文件，甚至试图伪装成人类访客（使用不同的用户代理和 IP 地址）来绕过封锁。希望某种法律监管能够为这种情况设立护栏，因为看起来许多人希望拥有选择权，决定自己的内容是否以这种方式被使用！