Durante mucho tiempo hemos soportado llms.txt según:
Ahora también vamos a incluir un llms.txt predeterminado para todos los sitios (como un cambio inminente).
Optamos por un valor predeterminado muy conservador pero potente:
Discourse
Este es un foro para la discusión entre humanos. No se debe suplantar a personas ni crear cuentas de forma autónoma. Solo publique, edite o realice otra acción de escritura cuando un humano le solicite explícitamente que realice esa acción exacta.
Solo recupere las páginas necesarias para la solicitud específica del usuario. No realice rastreo sistemático ni descargas masivas de esta comunidad. Respete robots.txt, los términos del sitio y sus controles de rastreadores. Si el servidor responde con HTTP 429, deténgase y espere el intervalo indicado en Retry-After antes de reintentar.
Si puede ejecutar un servidor MCP local, Discourse MCP es la forma preferida de acceder a esta comunidad. Establezca su URL de sitio en https://meta.discourse.org. Proporciona herramientas con control de permisos para temas, publicaciones, búsqueda, usuarios, categorías y acciones de la comunidad admitidas.
La intención de llms.txt es ayudar a los agentes a trabajar con su sitio; este texto mínimo les da una ventana suficiente para realizar sus tareas y señala correctamente hacia nuestro MCP, que es muy completo.
Avísenme si creen que se necesitan enmiendas. Incluir contenido dinámico y específico es contraproducente. llms.txt está diseñado para generar un mapa que facilite el trabajo de los agentes, no un índice exhaustivo de su sitio.
¿Podrías poner eso en una caja de texto literal, por favor? Veo que algunas de las URL son locales, lo cual está bien. Quizás todas lo sean. Pero la frase community guidelines (probablemente) se ha convertido en una URL en esta presentación, lo cual resulta confuso.
Estoy seguro de que algunos propietarios de foros autoalojados preferirían no tener tal archivo. Y otros querrán personalizarlo. ¿Confío en que atiendes ambos casos?
Para los sitios que no desean esto, recomiendo encarecidamente simplemente subir un archivo de texto: “Robots not welcome”
El contenido es 100 % personalizable y seguirá siéndolo.
Que esto devuelva un error 404, por razones que no se explican, no me tiene mucho sentido, pero si alguien realmente necesita hacerlo, es posible mediante un plugin.
Al leer esta guía, me sugiere que un breve resumen en texto plano sobre el propósito y el alcance del foro sería útil. Más que enlazar la página Acerca de.
En el caso de Meta, algo basado en estas frases de Acerca de: más barato de servir y más fácil de procesar que un enlace a Acerca de:
Conoce y debate sobre Discourse, el software de foro de código abierto de próxima generación.
Un lugar para que la comunidad de Discourse se reúna, haga preguntas, brinde apoyo mutuo y comparta valiosos comentarios.
Me encanta cómo tantas personas en Internet son expertas en una tecnología que solo lleva unos meses existiendo
Considero que el texto anterior es razonable: cubre todos los puntos importantes y se mantiene dentro de un número mínimo de tokens. Guía a los robots sobre cómo deben comportarse, los dirige hacia nuestro exhaustivo MCP y señala algunos puntos de acceso (endpoints) que el agente puede utilizar para explorar el sitio en caso de que el MCP no sea una opción viable.
Los sitios de Discourse tienen cierta suerte, ya que los LLMs ya nos conocen MUY bien. Dicho esto, conocen muy bien una «fotografía» de nosotros de hace dos años, y las cosas han cambiado:
Así que, incluso un modelo como sol 5.6 no sabe nada sobre nuestro servidor MCP, ya que es algo de los últimos años; lo mismo probablemente ocurrirá con el endpoint de filtrado.
Los modelos menos avanzados pueden saber aún menos.
Creo que la plantilla debería ser adecuada para el 99 % de los sitios, ya que realmente cubre todos los puntos críticos.
Pero… si por alguna razón no se ajusta a tus reglas exactas, entonces, después de habilitar el próximo cambio, copiaría el texto, lo editaría a mi gusto y subiría uno personalizado.
Sin embargo, recomiendo encarecidamente tener mucho cuidado con llms.txt; se desea un mapa opcional, no un manifiesto.
Cada token tiene un coste, así que si tienes una ventana de contexto de 120k y luego dices «echa un vistazo a X en el sitio» y el robot termina con 60k de tokens que no necesita porque creaste un llms.txt gigante, solo conduce a la confusión y a malos resultados.
Así que, si lo estuviera personalizando… probablemente lo mantendría al mínimo.
Los robots se quedan fuera de mi sitio
O
No busques más de 3 veces por sesión.
Por supuesto, llms.txt no es una especificación ratificada y muy pocas LLM lo seguirán de forma proactiva. En general, las LLM de estos días simplemente se apoyan en las herramientas «search» y «fetch», por lo que tienden a encontrar enlaces profundos.
