Google hat im Juni ein offenes Modell veröffentlicht, das mit rund 16 Gigabyte Arbeitsspeicher auskommt und trotzdem Bilder versteht und Sprache verarbeitet. Das läuft auf einem gut ausgestatteten Arbeitsrechner. Ohne Cloud, ohne Abo, ohne dass ein Byte das Haus verlässt.
Das ist technisch bemerkenswert. Bevor jetzt jemand Hardware bestellt, sollten wir aber über die Frage reden, die dahinter steckt: Wann ergibt das wirtschaftlich Sinn?
Die drei Gründe, die tatsächlich zählen
Daten dürfen das Haus nicht verlassen. Das ist der stärkste Grund und in bestimmten Branchen der einzige, der zählt. Kanzleien, Arztpraxen, Personalabteilungen, Auftragsfertigung mit Geheimhaltungsvereinbarungen. Wenn die Alternative lautet "gar keine KI", ist ein lokales Modell die bessere Antwort.
Sehr hohe, gleichförmige Last. Wer täglich zehntausende kurze Vorgänge durchschiebt, kommt irgendwann in einen Bereich, in dem eigene Hardware günstiger ist als Abrechnung pro Anfrage. Dieser Punkt liegt allerdings deutlich höher, als die meisten schätzen, und er ist zuletzt weiter nach oben gewandert, weil die Anbieterpreise gefallen sind.
Keine verlässliche Internetverbindung. Klingt exotisch, ist es aber nicht. Produktionshallen, Baustellen, Fahrzeuge. Wenn Ausfall keine Option ist, will man keine Abhängigkeit von einer Leitung.
Die Gründe, die nicht zählen
Zwei Argumente höre ich oft, die einer Prüfung nicht standhalten.
"Wir wollen unabhängig sein." Verständlich, aber der eigene Server macht dich nicht unabhängig, er verschiebt die Abhängigkeit. Statt eines Anbieters hast du Hardware, Treiber, Modell-Updates und jemanden, der das pflegt. Unabhängigkeit erreichst du eher über eine austauschbare Anbindung als über eigenes Blech.
"Das ist auf Dauer billiger." Meistens nicht. Ein Arbeitsplatzrechner, der ein Modell betreibt, ist in der Anschaffung überschaubar. Die Kosten stecken in der Betreuung. Wer rechnet, muss die Personentage einrechnen, die jemand mit Einrichtung, Aktualisierung und Fehlersuche verbringt.
Was lokale Modelle heute wirklich können
Hier lohnt Ehrlichkeit, weil der Abstand kleiner geworden ist, aber nicht verschwunden.
Gut funktionieren klar umrissene Aufgaben: Texte zusammenfassen, Dokumente klassifizieren, Daten aus Formularen ziehen, einfache Fragen zu mitgelieferten Unterlagen beantworten. Für den größten Teil dessen, was in Automatisierungen tatsächlich passiert, reicht das.
Deutlich schwächer sind sie bei mehrstufigem Denken und bei langen Ketten von Werkzeugaufrufen. Wenn ein Agent über fünfzehn Schritte den Faden halten soll, merkst du den Unterschied zu den großen Modellen sofort.
Und ein Punkt, den man selten liest: Bei Deutsch sind die kleinen offenen Modelle spürbar schwächer als bei Englisch. Der Abstand ist in den letzten Monaten geschrumpft, aber wer viel mit deutschen Fachtexten arbeitet, sollte das vorher testen und nicht annehmen.
Der Mittelweg, den ich meistens empfehle
Es muss kein Entweder-oder sein. In der Praxis funktioniert eine Aufteilung nach Sensibilität am besten.
Alles, was personenbezogene oder vertrauliche Daten berührt, läuft lokal. Alles andere geht an das beste verfügbare Modell in der Cloud. Die Entscheidung darüber trifft eine einzige Stelle in deinem Aufbau, nicht jeder Entwickler und jeder Mitarbeiter für sich.
Der Nebeneffekt ist praktisch: Du kannst klein anfangen. Ein Rechner, ein offenes Modell, ein Anwendungsfall. Wenn es trägt, kommt der nächste dazu. Wenn nicht, hast du eine Woche investiert und nicht ein Projekt.
Was du zum Testen brauchst
Für einen ernsthaften Versuch reicht ein Rechner mit ausreichend Arbeitsspeicher, eine der gängigen Betriebsumgebungen für lokale Modelle und ein Nachmittag. Die Einrichtung ist heute keine Hürde mehr, das war vor zwei Jahren noch anders.
Wichtiger als die Einrichtung ist der Vergleich. Nimm zwanzig echte Aufgaben aus deinem Alltag, lass sie einmal lokal und einmal über einen Anbieter laufen und vergleiche die Ergebnisse nebeneinander. Diese Tabelle beantwortet die Frage besser als jede Empfehlung, auch besser als meine.
Wie sich solche Abläufe planen und überwachen lassen, findest du im Bereich KI-Automatisierung.
Fazit
Lokale Modelle sind aus der Bastelecke heraus. Sie laufen auf normaler Hardware und liefern für Standardaufgaben brauchbare Ergebnisse.
Der Grund, sie einzusetzen, sollte trotzdem Datenschutz oder Verfügbarkeit sein, nicht Kostenersparnis und nicht das gute Gefühl, etwas Eigenes zu betreiben. Wenn du keine dieser Anforderungen hast, ist die Cloud weiterhin die pragmatischere Wahl.
Josef vom KI Club
