Mein Forum ist privat und ich möchte nicht, dass es indiziert wird. Ich möchte auch zuvor erstellte Indizes löschen.
Das Crawling wurde mit den folgenden robots.txt-Einstellungen verhindert:
User-agent: *
Disallow: /
Aber wie entferne ich einen vorhandenen Index?
Hört es auf zu crawlen und wird es automatisch mit der Zeit entfernt? Oder sollte ich <meta name="robots" content="noindex"> diesen HTML-Code zum Tag hinzufügen?