Warum unterstützt Discourse IndexNow nicht?

Merkmal
1

In der heutigen schnelllebigen und sich rasch überholenden Informationslandschaft ist die Indexierungsgeschwindigkeit einer der wichtigsten Erfolgsfaktoren.

Aber warum unterstützt Discource dieses Protokoll überhaupt nicht? https://www.indexnow.org/

3 „Gefällt mir“
2

Da sich niemand genug darum gekümmert hat, ein Plugin zu entwickeln oder einen Pull-Request zu erstellen, um dies zu unterstützen. Was meiner Meinung nach wahrscheinlich daran liegt, dass Google IndexNow nicht unterstützt, und das ist die Suchmaschine, die den meisten Leuten wichtig ist.

Aber wenn Sie ein Plugin erstellen möchten, um diese Funktion hinzuzufügen, ist das ein willkommener Beitrag!

14 „Gefällt mir“
3

Ich würde gerne zur Community beitragen und diese Erweiterung programmieren, aber wir sind keine Programmierer.

Googles Haltung zu IndexNow ist, dass sie es testen und wir werden sehen.

4

Gibt es Neuigkeiten zu Index Now? Da sogar Open AI eine Suchmaschine betreibt, die auf dem Bing-Index basiert und mit IndexNow verknüpft ist, ergibt das noch mehr Sinn.

5

Dann könnten Sie das Plugin im Marketplace in Auftrag geben. Ich kann mir Lösungen im Bereich von 500 bis 2000 US-Dollar vorstellen. Andere haben vielleicht mehr Fantasie als ich.

3 „Gefällt mir“
11

Ich stimme zu, jetzt scheint ein guter Zeitpunkt für Discourse zu sein, IndexNow zu unterstützen :))

1 „Gefällt mir“
12

Nach Prüfung der IndexNow-Funktionalität stimme ich zu, dass dies eines der Kernfunktionen/Plugins sein sollte. Ich verstehe auch, dass die Entwicklerressourcen begrenzt sind.

Hier sind meine Gedanken zu dem erforderlichen Plugin zur Unterstützung des Kernteams. Fühlen Sie sich frei, zusätzliche Kommentare hinzuzufügen.

Annahmen:

  1. Das IndexNow-Plugin verwendet Massenbenachrichtigungen nach einem Zeitplan - siehe Designüberlegung Nr. 1
  2. Massenbenachrichtigungen werden in einem Zeitintervall festgelegt
  3. Benachrichtigungen verwenden nur öffentliche Themen
  4. Benachrichtigungen erfolgen nur für neue/geänderte/gelöschte Themen, wenn das Plugin aktiviert ist.
  5. Das Plugin benachrichtigt nicht rückwirkend historische Änderungen/Ereignisse.

Anweisungen für Benutzer:

  1. Registrieren Sie sich bei der Suchmaschine Ihrer Wahl für IndexNow.
    • Holen Sie sich Ihren API-Schlüssel
    • Holen Sie sich die Endpunkt-URL der Suchmaschine
  2. Plugin installieren
  3. Admin einrichten

Anwendungsfall - Admin-Einstellungen

  1. Dem Benutzer erlauben, die automatische Einreichungsfunktion ein-/auszuschalten
  2. Dem Benutzer erlauben, den IndexNow-Endpunkt der Suchmaschine einzugeben. Siehe Designüberlegung Nr. 3.
    • Das Eingabefeld ist ein Textparameter
    • Das Eingabefeld muss eine gültige URL sein
    • Standardmäßig die Bing-URL unter https://www.bing.com/indexnow
  3. Dem Benutzer erlauben, den API-Schlüssel einzugeben und zu speichern
    • Textfeld zur Speicherung des API-Schlüssels
    • Das Eingabefeld ist alphanumerisch
    • Der Standardwert ist “”
  4. Dem Benutzer erlauben, Zeitparameter für Massenbenachrichtigungen festzulegen
    • Der Zeitparameter wird nach Stundenintervall eingestellt
    • Zeichenkette zur Speicherung des Stundenwerts
    • Gültige Eingaben sind ganze Zahlen
    • Gültige Eingaben können von 1 bis 24 reichen
    • Der Standardwert ist 12

Anwendungsfall - Textschlüsseldatei

  1. Das System generiert eine Datei namens indexnowkey.txt
  2. Die Schlüsseldatei muss im Stammverzeichnis gespeichert werden.
  3. Das System füllt die Datei mit dem API-Schlüssel
  4. Die Datei muss für alle externen Benutzer/Systeme über HTTP/HTTPS zugänglich sein

Anwendungsfall - Planung des Massenbenachrichtigungsprozesses

  1. Das System plant die Jobs, die auf Basis der in den Admin-Einstellungen definierten Einstellungen intervallmäßig verarbeitet werden.
  2. Der Intervallwert definiert die Verzögerung zwischen den Jobs in Stunden. Zum Beispiel würde ein Eingabewert von 2 bedeuten, dass der Job alle 2 Stunden ausgeführt wird. Ein Wert von 4 bedeutet, dass der Job alle 4 Stunden ausgeführt wird. Ein Wert von 24 bedeutet, dass der Job einmal täglich ausgeführt wird.

Anwendungsfall - Massenbenachrichtigungsprozess

  1. Das System ermittelt, ob der Benachrichtigungsprozess über die in den Admin-Einstellungen definierten Website-Einstellungen aktiviert ist.
  2. Das System ermittelt, ob ein API-Schlüssel in den Website-Einstellungen gültig ist - nicht “”.
  3. Das System erstellt eine Liste von Themen basierend auf der definierten Zeitintervall-Einstellung. Siehe Designüberlegung Nr. 2 zu Abfragezeiträumen. Die Themenparameter für die Einbeziehung sind:
    • Themen müssen nur öffentlich sichtbar sein
    • Neue Themen
    • Themen mit neuen Beiträgen
    • Bearbeitete Themen
    • Gelöschte Themen
    • Die Themenliste muss eindeutig sein - keine Duplikate
  4. Das System erstellt das JSON-Paket im folgenden Format.
{
  "host": "current_site",
  "key": "api_key",
  "keyLocation": "https://current_site/indexnowkey.txt",
  "urlList": [
      "https://www.example.com/url1",
      "https://www.example.com/folder/url2",
      "https://www.example.com/url3"
      ]
}
  1. Das JSON-Paket wird an folgendes gesendet:
    • URL: sitesettings.search_engine_indexnow_endpoint
  2. Das JSON-Paket wird mit folgenden Headern gesendet:
    • Content-Type: application/json; charset=utf-8
    • Http/1.1
    • Host: bing
  3. Bestätigen Sie den Empfang der HTTP-Anfrage
    • http 200 - erfolgreiche Einreichung - Prozess beenden
    • Http 429 - Zu viele Einreichungsversuche - Benachrichtigen Sie den Administrator, um die Intervallzeit zu erhöhen

Designüberlegungen:

  1. Massenbenachrichtigungen vs. Einzelbenachrichtigungen – Eine einzelne Benachrichtigung wäre für kleine Domains akzeptabel, aber für größere Foren könnte das Hinzufügen einer Benachrichtigung für jeden neuen/aktualisierten Beitrag viele Ereignisprozesse erzeugen. Aus Sicht der Suchmaschinenindizierungsleistung wären Massenbenachrichtigungen stündlich für 80 % der Foren akzeptabel.
  2. Abfragezeitpunkt für Massenbenachrichtigungen – SideKiq steuert die Intervallzeiten. Wenn SideKiq stark ausgelastet ist, kann der Prozess der Massenbenachrichtigungen verzögert werden. Der Prozess der Massenbenachrichtigungen könnte neue/aktualisierte Themen verpassen, wenn der Abfragezeitraum dem Planungsintervall entspricht. Sollte ein Zeitparameter die Abfrage erweitern, um verzögerte Prozesse abzudecken? Oder ist es möglich, dass der Scheduler initiierte Zeitstempel übergibt, um Abfragezeitintervalle zu steuern? Oder müssen wir eine Datenbanktabelle/einen Wert für eingereichte Themen mit einem Zeitstempel erstellen?
  3. Sollten wir eine interne Tabelle mit jeder Suchmaschine und dem definierten IndexNow-URL-Endpunkt erstellen? Der Benutzer kann die Auswahl aus einer Dropdown-Liste treffen, anstatt eine URL einzugeben. Dies vermeidet potenzielle menschliche Fehler.

Was fehlt? Was würden Sie hinzufügen?

13

Gibt es eine Möglichkeit, unsere bestehende Unterstützung für ausgehende Webhooks zu nutzen, um einen Teil oder alles von dem zu erreichen, was Sie wollen?

1 „Gefällt mir“
14

Das scheint ein ziemlich guter Entwurf zu sein. Ich würde nur Bulk-/Batch-Einreichungen vornehmen, um zwei Methoden zum Schreiben, Debuggen, Testen und Warten zu vermeiden.

Oder vielleicht könnte ein einzelner Bulk-/Batch-Job die Ratenbegrenzungsprobleme vermeiden und dann nur eine Möglichkeit haben, Dinge einzureichen (nur in einem Batch, niemals auf Beitrags-Ebene).

Eine Version, die an einen einzigen Endpunkt sendet, könnte 2.000 US-Dollar für etwas kosten, das zu funktionieren schien und minimale Fehlerbehandlung hatte, bis zu 5.000 US-Dollar für etwas mit zumindest einigen Spezifikationen für Tests; und könnte vielleicht mehrere Endpunkte benachrichtigen?

15

Sie stellen eine großartige „Wie“-Frage. Ich bin nicht die beste Person, um Discourse-„Wie“-Fragen zu stellen.

Ich bin gut darin, zu dokumentieren, „Was“ benötigt wird. Eine gute, klare Definition von „Was“ benötigt wird, beschleunigt die Codierung und macht sie somit günstiger.

Um das „Was“ für Webhooks zu beantworten, glaube ich, dass es sich auf einzelne vs. Massenbenachrichtigungen bezieht. Ich habe ein mittelgroßes Forum und bevorzuge Massenbenachrichtigungen.

  1. Ich benötige keine Benachrichtigung der Suchmaschinen, wenn ein Thema erstellt oder aktualisiert wird.
  2. Ich füge nicht gerne nachrangige Ereignisse in kritische Prozesse wie die Erstellung von Themen und Beiträgen ein. Das Hinzufügen zusätzlicher Ereignisse verlängert die Wartezeit für die Benutzer. Eine Massenmethode erfordert nur eine einzige SQL-Abfrage und einen HTTP-Send. Sie kann als Backend-Ereignis außerhalb der Benutzerinteraktion verarbeitet werden.
16

Das Plugin müsste nur für einen Endpunkt entwickelt werden. Die IndexNow-Vereinbarung verlangt, dass Suchmaschinen Einreichungen untereinander austauschen. D. h., Sie reichen bei Bing ein, und Bing reicht es dann an die anderen IndexNow-konformen Suchmaschinen weiter.

Wir brauchen 30 Mitglieder, die jeweils 100 US-Dollar aufbringen, um die Entwicklung des Plugins zu finanzieren.

1 „Gefällt mir“