Я просто не хочу этого делать. Личное мнение, но большие языковые модели (LLM) всегда были запрещены на моих сайтах и всегда будут. Мне не нравится дарить свой труд — будь то текст или код — скрейперам, особенно таким, как OpenAI или Anthropic.
На большинстве моих доменов есть такие файлы:
https://pyxfluff.dev/robots.txt
https://pyxfluff.dev/llms.txt
Очевидно, что это всё дело личного предпочтения, но вся эта лихорадка вокруг ИИ закончится, как только люди перестанут позволять этим компаниям красть контент их сайтов. Возможно, последнее обновление Google, против которого так много людей, заставит владельцев сайтов очнуться, и теперь у них не будет ни одного перехода на их сайты.