Simplemente no lo hago. Es mi opinión personal, pero los LLM siempre han estado prohibidos para visitar mis sitios web y siempre lo estarán. No me gusta donar mi trabajo duro, ya sea texto o código, a los scrapers, especialmente los de OpenAI o Anthropic.
La mayoría de mis dominios tienen archivos como este en ellos:
https://pyxfluff.dev/robots.txt
https://pyxfluff.dev/llms.txt
Obviamente, todo esto es solo una preferencia personal, pero toda esta locura de la IA terminaría una vez que la gente deje de permitir que estas empresas roben el contenido de sus sitios web. Tal vez la última actualización de Google, contra la que tanta gente se opone, haga entrar en razón a los propietarios de sitios web que ahora ya no tendrán visitas a sus sitios.