How to edit robot.txt for indexing user profiles?

الدعم
1

I want the user profiles on my website to get indexed in Google. I know it might attract a lot of spam but we can handle that, although getting user profiles indexed in Google is more important for us. So is there a way to do this?
I checked the old topics on meta and they suggested to edit robot.txt. Is the answer still the same? And if the yes, then how to edit the robot.txt?

2

User profiles are disallowed as the version which is seen by the crawler contains no useful information.

It’s not a question of whether the server can handle it or “take the hit”, it’s the tens of thousands of effectively empty pages which will waste the crawl time allocated to your site by the search engines.

إعجابَين (2)
3

You are absolutely right, for most websites your answer makes absolute sense. But, my use case is slightly different and that’s why I wanted to know how to index user profiles. Even if tons of useless pages (user profiles) gets indexed, then also that’s what I need for my use case.
If there’s a way to achieve it then, please let me know. :slight_smile:

4

I am also want to index the Categories and Tags.
Is there a way to edit the robots.txt?

5

Search meta, the reasons this is disabled is well documented.

إعجاب واحد (1)
6

@Stephen, now that we can “play” with robot.txt here -> /admin/customize/robots do you guys advise to allow those two -> Disallow: /tags - Disallow: /tags/ ?

إعجابَين (2)
7

We do not advise messing with this at all.

4 إعجابات
9

ولكن هناك حيلة سريعة واحدة: أرسل بريدًا إلكترونيًا يحتوي على رابط لفئة المستخدم والعلامات وما إلى ذلك. ودع المستخدمين - مثل المسؤولين والمشرفين - يفتحون تلك الروابط. بعد ذلك، لن يتبع Googlebot ملف robots.txt بعد الآن وسيقوم بفهرستها.

الباقي هو، كالعادة، مسألة إرادة Google ما إذا كان سيتبع أعمق أو ينسى.

هذا الموضوع، والعديد من المواضيع المماثلة، يعطي صورة هنا حيث سيكون robots.txt قاعدة صارمة. لا، ليس كذلك. إنها مجرد إرشادات، لا شيء آخر.

والخوف من البريد العشوائي/السرقة صحيح، لكن الروبوتات غير المرغوب فيها لا تهتم بما هو موجود في robots.txt. إذا كان هناك شيء يمكن الوصول إليه، فسوف يذهبون إلى هناك.

إعجاب واحد (1)