残念ながら、サイトのコンテンツが公にアクセス可能である場合、LLM スクレイパーを完全にブロックする確実な方法はありません。それらの多くは robots.txt を無視し、ブロックを回避するために異なるユーザーエージェントや IP アドレスを使用して、あたかも人間の訪問者のように振る舞おうとします。多くの人が自分のコンテンツがこのような方法で使用されるかどうかを選択したいと考えているようですので、何らかの法的規制が状況にガードレールを設けてくれることを願っています。
「いいね！」 5