Wie gehen hier selbstgehostete Betreiber mit schlechten Crawlern um?

Cloudflare war schon immer nett zu mir und ich musste nie für Anti-Bot-Dienste bezahlen. Das und ihre neueren Funktionen wie Anti-KI sind großartig und halten mich als Kunden und wahrscheinlich als ihren Fan. Möchten Sie nicht, dass KI-Scraper Ihre Daten stehlen? Verwenden Sie einfach eine ihrer verwalteten Regeln (obwohl es durchaus möglich ist, dies wie ich auf meiner Website mit der normalen robotstxt zu tun)

.. im Vergleich zu einer generischen verwalteten, viel besser..

Ob diese Start-ups die Datei tatsächlich lesen und respektieren, steht auf einem anderen Blatt, aber es ist gut, dass sie es zumindest versuchen. Keine meiner Websites hatte in der Vergangenheit Probleme mit Bots und ich bin immer noch wiederholt zufrieden mit der Möglichkeit, gängige WordPress-Exploits direkt dort zu blockieren, nachdem ich meine Protokolle gelesen habe.

1 „Gefällt mir“