# Fehlerhafte robots.txt verursacht Probleme bei der Indexierung

**URL:** <https://meta.discourse.org/t/malformed-robots-txt-causing-issues-with-indexing/126160>\
**Category:** Product Support\
**Created:** [19. August 2019 um 11:13 UTC](https://meta.discourse.org/t/malformed-robots-txt-causing-issues-with-indexing/126160 "2019-08-19T11:13:34Z")\
**Posts on this page:** 1\
**Showing post:** 4

<div class="post-metadata">

**Author:** ![j127](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/j127/32/79093_2.png) [@j127](https://meta.discourse.org/u/j127)\
**Post date:** [20. August 2019 um 05:49 UTC](https://meta.discourse.org/t/malformed-robots-txt-causing-issues-with-indexing/126160/4 "2019-08-20T05:49:18Z")

</div>

> [@tohaitrieu](#):
>
> Deine Forum-Roboy-Datei ist erlaubt: [https://discuss.grakn.ai/robots.txt](https://discuss.grakn.ai/robots.txt)

Die robots.txt-Datei enthält diesen Text in der Mitte, was möglicherweise Probleme mit Crawlern verursacht:

```plaintext
User-agent: *
Disallow: /
Noindex: /

```

Google indiziert jedoch Seiten:

> **[Google Search](https://www.google.com/search?q=site%3Ahttps%3A%2F%2Fdiscuss.grakn.ai%2F&num=100)**

Es könnte sein, dass Googlebot nach deinen Google-spezifischen Regeln sucht und Webmaster Tools dich vor dem Wildcard-Symbol warnt.

(Ich bin mir nicht sicher, welche Einstellungen zu dieser robots.txt-Ausgabe führen.)

---

_[View the full topic](https://meta.discourse.org/t/malformed-robots-txt-causing-issues-with-indexing/126160)._