Onestamente, non lo farei. È solo la mia opinione, ma ho sempre vietato ai LLM di visitare i miei siti web e continuerò a farlo. Non mi piace donare il mio duro lavoro, sia esso testo o codice, agli scraper, specialmente quelli di OpenAI o Anthropic.
La maggior parte dei miei domini ha file come questo:
https://pyxfluff.dev/robots.txt
https://pyxfluff.dev/llms.txt
Ovviamente, tutto questo è solo una preferenza personale, ma questa intera mania dell’AI finirà non appena le persone smetteranno di permettere a queste aziende di rubare il contenuto dei loro siti web. Forse l’ultimo aggiornamento di Google, contro cui molti si sono opposti, farà riprendere i sensi ai proprietari di siti web che ora non avranno più visite al loro sito.