האם Google אינו מאנדקס את פורום Discourse – מפת האתר לא אושרה

תמיכה
1

Hi everyone,

I’m running a Discourse forum (forum.evteam.pl), and I’m struggling with getting my pages indexed by Google. While a few pages have been indexed, most remain unindexed despite submitting a sitemap.

Here’s the current situation:

  • Only 8 pages indexed out of 180+.
  • The number of indexed pages briefly increased but then dropped again.
  • Google Search Console shows 172 pages as non-indexed.
  • The sitemap has not been approved for a long time.
  • Search performance is very low, with barely any clicks from Google.

GSC
GSC923×766 35.5 KB

I have checked the following:
:white_check_mark: Robots.txt – No obvious restrictions.
:white_check_mark: Sitemap.xml – Submitted, but still not approved.
:white_check_mark: Noindex Tags – Not present on key pages.
:white_check_mark: Google Search Console – No manual penalties or security issues.

Has anyone experienced similar issues with Discourse forums? Could this be due to Google’s indexing policies, or is there something I might be missing? Any tips on how to resolve this?

Thanks in advance!

3

Can you check

  1. <yoursite>/admin/reports/web_crawlers to see if Googlebot is in the list?
  2. the site setting allowed_crawler_user_agents to make sure you are not blocking Google by accident (share this here if possible)

Discourse SEO overview (sitemap / robots.txt ) may be a useful topic for you.

לייק 1
4

תודה על ההצעות שלך!

  1. בדקתי את /admin/reports/web_crawlers, ו-Googlebot נמצא ברשימה, ולכן הוא מייבא את הפורום.
  2. רשימת allowed_crawler_user_agents הייתה ריקה, לכן הוספתי:
Googlebot  
bingbot  
DuckDuckBot

גם הגשתי מחדש את מפת האתר ב-Google Search Console ואעקוב אם האינדקס משתפר בימים הקרובים.

5

That could be potentially bad idea — unless you are totally sure every other bots can be disallowed. Google is using a lot crawlers that aren’t declaring googlebot string.

2 לייקים
6

תודה שהסבת את תשומת ליבי לכך! לא ידעתי ש-Google משתמש במנועי סריקה אחרים שאינם מצהירים בבירור על Googlebot.

אקצה את הרשימת ה-allowed_crawler_user_agents כדי למנוע חסימות בשוגג של משהו.