Honnêtement, je ne le fais pas. C’est mon opinion personnelle, mais les LLM ont toujours été interdits d’accès à mes sites web et le resteront. Je n’aime pas offrir gratuitement mon travail acharné, qu’il s’agisse de texte ou de code, aux scrapers, en particulier ceux d’OpenAI ou d’Anthropic.
La plupart de mes domaines contiennent des fichiers comme ceux-ci :
https://pyxfluff.dev/robots.txt
https://pyxfluff.dev/llms.txt
Bien sûr, tout cela relève simplement de préférences personnelles, mais cette folie actuelle autour de l’IA prendra fin dès que les gens cesseront de permettre à ces entreprises de voler le contenu de leurs sites web. Peut-être que la dernière mise à jour de Google, tant critiquée, remettra les propriétaires de sites web à l’ordre, car ils n’auront plus aucune visite sur leur site.