Ist es möglich, Crawlern das Scrapen und Indexieren eines Forums zu erlauben, aber den Zugriff nur nach Anmeldung zu gewähren?
Mit anderen Worten: Wir möchten, dass der Inhalt indexiert wird und in Suchen gefunden werden kann, aber der einzige Weg, darauf zuzugreifen, ist über einen Benutzernamen und ein Passwort.
Ist das machbar? Ich entschuldige mich, falls dieser Beitrag an der falschen Stelle ist – ich war mir nicht sicher, wo ich ihn veröffentlichen soll.