なぜ、Flarum サイトのクローラー表示と Discourse サイトのそれを比較しないのですか？例えば、curl を使い、Google のユーザーエージェントを指定して試してみてください。
トピック一覧や特定のトピックなど、いくつかの表示を選び、それぞれの HTML をコピーしてチャットボットに貼り付け、AI に両者の HTML を比較させてみてください。
Flarum サイトをオフにしている場合は、この比較を行うために一時的にサイトを復旧させる必要があるかもしれません。その際、一時的にサブドメイン（例：flarum）に配置してください。