Die Frage kommt in jedem zweiten Gespräch: "Können wir das Modell auf unsere Daten trainieren?" Die ehrliche Antwort ist fast immer: Ja, aber du willst das nicht.
Ich erkläre kurz, warum, und was stattdessen funktioniert.
Was Fine-Tuning wirklich macht
Fine-Tuning verändert die Gewichte eines Modells, damit es sich anders verhält. Es lernt dabei nicht in erster Linie Fakten, sondern Muster: einen Tonfall, ein Ausgabeformat, eine bestimmte Art zu antworten.
Genau da liegt das Missverständnis. Wer sein Preisverzeichnis in ein Fine-Tuning kippt, bekommt kein Modell, das die Preise kennt. Er bekommt ein Modell, das gelernt hat, wie Preisangaben bei ihm klingen, und das im Zweifel plausible Zahlen erfindet.
Dazu kommen drei praktische Probleme. Bei jeder Preisänderung müsstest du neu trainieren. Du kannst nicht mehr nachvollziehen, woher eine Aussage stammt. Und du bist an das Modell gebunden, das du trainiert hast, während im Monatstakt bessere und günstigere erscheinen.
Der Weg, der funktioniert
Die Alternative heißt Retrieval, zu Deutsch: nachschlagen. Das Modell lernt nichts. Es bekommt zum Zeitpunkt der Frage die passenden Ausschnitte aus deinen Dokumenten mitgeliefert und antwortet auf dieser Grundlage.
Der Ablauf ist simpel. Deine Dokumente werden in Abschnitte zerlegt und in einer durchsuchbaren Form abgelegt. Kommt eine Frage, wird zuerst gesucht, welche Abschnitte dazu passen. Diese Abschnitte landen zusammen mit der Frage beim Modell. Das Modell formuliert die Antwort und nennt die Quelle.
Die Vorteile fallen dabei fast von selbst an: Änderst du ein Dokument, ist die Antwort sofort aktuell. Du siehst, worauf eine Aussage beruht. Und du kannst das Modell austauschen, ohne dass dein Wissen mitwandern muss.
Wo es in der Praxis hakt
Der Aufbau ist nicht das Problem, dafür gibt es fertige Bausteine. Was schiefgeht, liegt fast immer bei den Daten.
Widersprüche. In den meisten Firmenablagen liegen drei Versionen derselben Preisliste, zwei davon veraltet, keine als solche gekennzeichnet. Das System findet alle drei und antwortet mit der erstbesten. Das ist kein Fehler der Technik, sondern eine Frage, die vorher niemand gestellt hat.
Abschnittsgrößen. Zerlegst du zu klein, fehlt der Zusammenhang. Zu groß, und die relevante Stelle geht im Rauschen unter. Das ist die eine Stellschraube, an der sich echtes Ausprobieren lohnt.
Tabellen und Scans. Eine Preistabelle als PDF wird beim Zerlegen gern zu Buchstabensalat. Wer viel mit Tabellen arbeitet, braucht hier einen eigenen Schritt.
Berechtigungen. Wenn alle Dokumente in einem Topf liegen, beantwortet das System auch Fragen, die ein Nutzer nicht stellen dürfte. Rechte gehören in die Suche, nicht in die Anweisung an das Modell. Ein Prompt ist keine Zugriffskontrolle.
Wie ich das aufsetzen würde
Klein. Nicht das ganze Laufwerk, sondern die zwanzig Dokumente, die am häufigsten gebraucht werden. In den meisten Firmen sind das Preislisten, Leistungsbeschreibungen, die häufigsten Kundenfragen und ein paar Prozessanweisungen.
Diese zwanzig Dokumente vorher einmal aufräumen: aktuelle Version markieren, veraltete raus. Dieser Schritt kostet einen halben Tag und entscheidet über den Erfolg mehr als jede technische Einstellung.
Danach zwanzig echte Fragen sammeln, die Kollegen tatsächlich stellen, und durchtesten. Wenn achtzehn davon korrekt beantwortet werden, hast du ein brauchbares System. Wenn nicht, siehst du an den zwei Fehlern meistens sofort, welches Dokument fehlt oder widersprüchlich ist.
Wann Fine-Tuning doch sinnvoll ist
Damit es fair bleibt: Es gibt Fälle. Wenn du zehntausende Vorgänge im Monat durch ein Modell schickst und jedes Mal dieselbe lange Anweisung mitgibst, kann Fine-Tuning diese Anweisung ersetzen und damit Kosten sparen. Ebenso, wenn ein sehr spezieller Ausgabestil verlässlich getroffen werden muss.
Beides sind Optimierungen für den Betrieb, keine Wege, Wissen einzubauen. Und beide lohnen sich erst, wenn das System schon läuft.
Wie sich solche Abläufe ohne eigenen Code aufbauen lassen, haben wir im Bereich KI-Automatisierung zusammengestellt.
Fazit
Wissen gehört nicht ins Modell, sondern daneben. Das ist die kurze Fassung.
Der praktische Effekt ist, dass dein wichtigstes KI-Projekt kein KI-Projekt ist. Es ist ein Aufräumprojekt für zwanzig Dokumente. Unspektakulär, aber es entscheidet über alles, was danach kommt.
Josef vom KI Club
