Warum wurde externe KI gegenüber einem internen System gewählt?

Was die Nutzung externer Ressourcen betrifft, können Sie Ihr LLM auch lokal ausführen:

Aber haben Sie das schon für ein Projekt gemacht?

Dafür benötigen Sie besonders beeindruckende Hardware, die Sie besitzen oder mieten!

Probieren Sie die kleineren Sprachmodelle (die Sie vielleicht selbst hosten möchten) aus und sehen Sie, wie beeindruckt Sie sind:

Ihre Erfahrungen können variieren, aber meiner Meinung nach müssten Sie ein Modell mit mindestens 70 Milliarden Parametern hosten, was für das Self-Hosting ziemlich kostspielig wäre.

Zum Vergleich: GPT 3.5 soll ein Modell mit 175 Milliarden Parametern sein und GPT 4 hat fast 2 Billionen (sagen sie) :sweat_smile:

Ich habe dieses Plugin geschrieben:

Und es hat eine KI-Tagging-Funktion. Meiner Erfahrung nach benötigen Sie GPT 4 Turbo, damit es gut funktioniert (und dann funktioniert es wirklich gut!)

Wenn Sie etwas so Leistungsfähiges wie diese selbst hosten wollten, bräuchten Sie sehr tiefe Taschen.

Deshalb ist die Nutzung einer externen LLM-API immer noch eine attraktive Pay-as-you-go-Option, insbesondere weil Sie nur für die von Ihnen getätigten Aufrufe bezahlen und nicht für eine teure Infrastruktur, die ungenutzt Leerlaufzeiten verbringt.

Wenn Datenschutz von großer und ausreichender Bedeutung ist, könnte dies natürlich die Rechnung ändern.

5 „Gefällt mir“