Ich verstehe. Wenn ich etwas hinzufügen dürfte… Soweit ich weiß, ist der Googlebot-Crawler ziemlich gut darin, neue Inhalte/Seiten schnell zu finden, unabhängig von der dahinterliegenden Technologie. Das kann nicht der einzige Grund sein, warum Discourse die Crawler-Version verwendet, aber ich verstehe die Auswirkungen.
Vielleicht wird mit KI und der sich verändernden Art des Internets die On-Page-SEO immer mehr zu einem irrelevanten Faktor und nur der Inhalt/die Daten selbst werden am wichtigsten sein.