Eu simplesmente não permito. É minha opinião pessoal, mas os LLMs sempre foram proibidos de acessar meus sites e sempre serão. Não gosto de doar meu trabalho árduo, seja texto ou código, para raspadores, especialmente os da OpenAI ou Anthropic.
A maioria dos meus domínios possui arquivos como estes:
https://pyxfluff.dev/robots.txt
https://pyxfluff.dev/llms.txt
Obviamente, tudo isso é apenas uma preferência pessoal, mas toda essa febre de IA acabaria assim que as pessoas parassem de permitir que essas empresas roubem o conteúdo de seus sites. Talvez a última atualização do Google, contra a qual tantas pessoas se opõem, faça os donos de sites perceberem que, agora, não terão mais nenhum acesso ao seu site.