Citas de IA: ¿Permite Discourse el rastreo de bots de IA?

Estuve revisando nuestro foro en ahrefs que informa sobre “Citas de IA” y vi esto:

Revisé mi configuración y encontré esto:

¿Alguien aquí tiene experiencia con esto? ¿Limitar los bots significa que no indexan el foro en absoluto? ¿Alguien ha eliminado el límite que pueda hablar sobre el impacto en los recursos y las citas de IA? Gracias.

No, no significa eso. El estrangulamiento se detiene, dependiendo de cómo se haya hecho, porque robots.txt no tiene dientes, los bots pueden actuar como mini ataques DDOS.

Hay tres razones por las que no obtienes ninguna cita de IA:

  • La misma información se encuentra en lugares más populares
  • Nadie ha preguntado algo que conduzca a una cita a la URL de tu foro
  • Ahrefs está equivocado

Ahrefs es una de esas empresas cuyo bot debería ser prohibido en primer lugar. Esa es una razón entre muchas por las que la suposición “Ahrefs está equivocado” es una de esas tres.

Y hasta donde sé, están bloqueados por defecto en Discourse:

Así que sí, el informe de ahrefs probablemente no sea fiable.
Por qué eligen no decirte que no pudieron obtener ningún dato, sino que en su lugar informan erróneamente “0”… ahora esa es una pregunta para ellos.

Puedes desbloquear su bot, pero prepárate para ocasionales mini-ataques de denegación de servicio, aumento de páginas vistas y carga del servidor.

El bot de Ahrefs no necesita poder indexar nuestro foro para que esto funcione, ya que solo informa sobre lo que ve en Google.

Sería muy inusual si ese fuera el caso, ya que nuestro foro recibe un par de millones de visitas al año… por eso me pregunto sobre el bloqueo activo de bots de IA. O tal vez el framework no es técnicamente amigable para los rastreadores de IA, como por ejemplo la renderización de js, etc.

¿Puedes hacer que los bots citen tus foros?

Si es así, el problema es ahrefs. Sigo pensando que la función AI Citations es bastante nueva y podría no funcionar todavía.

Si no puedes, algo más podría estar mal. En ese caso, prueba con algunos otros foros de Discourse. Si aparecen, entonces el problema no es el framework, sino algo específico de tu sitio.

Por si sirve de algo, esto es lo que ChatGPT me da para una consulta de ejemplo sobre Meta:

No, no lo es. Y eso no es tanto. Yo tengo 3,5 millones al año, si tus visitas se refieren a visitas de búsqueda de Google. Si se refiere a visitas de usuarios, tampoco es tanto. Si se refiere a visitas de bots, es incluso bajo. Además, las visitas no significan que la IA vaya a decir que tu foro se utiliza definitivamente como fuente citada. Depende del tipo de contenido que tengas allí.

Pero, de todos modos, no es algo que puedas preguntar aquí. Solo Ahrefs sabe cómo cuentan sus métricas.

Además, Ahrefs no ve a través de Google cuántas veces una IA ha citado.

Entonces, ¿estás diciendo que 3,5 millones tampoco es “tanto” o el número se vuelve significativo en algún punto entre 2 y 3,5 millones? Jaja.

Visitantes únicos de Google, por cierto… y nuestro otro sitio con muchos menos visitantes está por todas partes en Respuestas de IA… y ahrefs lo está informando (quién sabe con qué precisión)… es simplemente extraño tener un sitio más grande con 0 en todas las citas cuando tengo uno más pequeño con muchas más…

De todos modos, me encantaría saber de cualquier webmaster de Discourse que tenga conocimiento directo sobre este tema. ¿Alguien más está usando ahrefs y ve valores distintos de cero para las citas de IA en sus foros? Gracias.

O debería decir que fue un error de cálculo muy tonto :man_facepalming: Pero mi defensa es que era de noche aquí cuando lo calculé.

Lo siento.

Obtengo 10 000 al mes, y eso no es tanto, pero es significativamente menos al año que 3,5 millones, en efecto.

1 me gusta

Posiblemente relevante:

https://www.gsqi.com/marketing-blog/ai-search-javascript-rendering/

Es poco probable que esto sea un problema para los foros de Discourse, ya que mostrarán una vista de rastreo para cualquier rastreador que utilice un agente de usuario similar a un bot.

Si se les permite, por supuesto.