Ich weiß, Fragen wie wie viel ist viel oder ist Emacs besser als vi, wenn es Nano gibt sind schwer und unmöglich zu beantworten, aber trotzdem.
Ich überlege, einen neuen Droplet bei DigitalOcean zu erstellen, nur wegen dieser KI-Dinge. Welcher bietet also das beste Geld/Nutzen-Verhältnis für ein Forum mit ansonsten wenig Traffic und sehr wenig Geld, wenn das Ziel 16 GB RAM sind:
Basic, 112 € — 8 Kerne Intel oder AMD
General, 126 € — 4 Kerne
CPU-optimiert, 168 € — 8 Kerne regulärer Intel
Speicheroptimiert, 84 € — 2 Kerne
(USD ist heutzutage fast gleich wie Euro)
Nochmal – ich weiß nichts – aber weil Discourse eine clientabhängige App ist oder so, ganz anders als das PHP-basierte WordPress, braucht es nicht so viel CPU-Leistung, oder bin ich völlig auf dem Holzweg? Aber KI-Lösungen ändern das Spielfeld komplett und brauchen RAM und CPU?
Und die eigentliche und wirkliche Frage ist natürlich: was sind die minimalen Kosten, wenn man zum Beispiel einen Related Topics-Block haben möchte?
Das Hauptproblem bei der KI-Funktion „Verwandte Themen“ ist, dass Sie Einbettungen für alle Ihre vorhandenen Themen generieren müssen. In großen Foren dauert dies eine Weile und ist der „teure“ Teil des Betriebs. Sie müssen dies jedoch nur einmal ausführen, sodass Sie stundenweise Instanzen nutzen können, um hier nur das absolute Minimum zu bezahlen.
Die Generierung von Einbettungen für Meta hat mich etwa 1 Stunde gekostet. Sie können also zum Beispiel einen VPS mit einer vollen NVIDIA A100 für eine Stunde mieten, um ihn auszuführen, und weniger als 3 $ dafür bezahlen!
Sobald Sie all diese Einbettungen generiert haben, müssen Sie nur noch neue für neue und bearbeitete Themen generieren, und dafür können Sie wahrscheinlich mit CPU-basierter Inferenz auskommen.
Nehmen wir also an, Sie haben jetzt:
Ein Droplet bei Digital Ocean, auf dem Discourse läuft
Während des Backfills können Sie haben:
Ein Droplet bei Digital Ocean, auf dem Discourse läuft
Ein Droplet bei Digital Ocean für PostgreSQL zur Speicherung der Einbettungen
Ein VPS bei Vultr zur schnellen Berechnung von Einbettungen
Nach dem Backfill ändern Sie es zu:
Ein Droplet bei Digital Ocean, auf dem Discourse läuft
Ein Droplet bei Digital Ocean für PostgreSQL zur Speicherung der Einbettungen und jetzt auch des Einbettungsdienstes
Was die Größe des Droplets für 2 betrifft, könnte ein kleines mit 4 GB RAM ausreichen. Ich muss noch überprüfen, wie viel RAM dieser Einbettungsdienst-Container verbraucht.
Wir arbeiten aktiv daran und werden in den kommenden Wochen viele Änderungen daran vornehmen, während wir dieses Plugin für unsere Unternehmenskunden hochfahren und Feedback erhalten.
Dennoch klingt es für mich nach einem guten Geschäft, weniger als 10 US-Dollar auszugeben, um dies auszuprobieren und diese Funktion für Ihre Community bereitzustellen und frühzeitig Feedback dazu geben zu können, aber es hängt von Ihren Geld- und Zeitbeschränkungen ab.
Eine Sache, von der wir wissen, dass sie passieren wird, ist, dass wir im Moment nur die OP in den Einbettungen verwandter Themen verwenden und wir werden damit experimentieren, die OP und die Antworten, die passen, stattdessen zu übergeben, was bedeutet, dass alle Einbettungen erneut generiert werden müssen. Das würde Sie erneut 3 US-Dollar und 1 Stunde Ihrer Zeit kosten.
