Grounding schlägt Gewichte: 37 % → 91 % ohne Training

Der verbreitete Reflex, wenn eine KI-Aufgabe schwer wird: nimm ein größeres Modell. In unserem Labor haben wir das Gegenteil gemessen. An einem einzigen Tag stieg die Trefferquote unseres kleinen, lokalen Modells von 37 auf 91 Prozent — ohne dass wir es auch nur eine Sekunde nachtrainiert hätten. Der Hebel war nicht das Modell, sondern eine prüfbare Wissensbasis daneben. Wie das ging, und was es bedeutet, steht hier.

Was wir gebaut haben

Wir bauen auf unserem lokalen KI-Server (einem NVIDIA DGX Spark) eine „Spine": ein Tool-Calling-System, das aus einer Anfrage das richtige Werkzeug wählt und dessen Parameter füllt — oder sauber „weiß ich nicht" sagt. Die erste Domäne ist ein Infrastruktur-Assistent mit sechs nur-lesenden Werkzeugen: Läuft dieser Dienst? Wie sind die Systemwerte? Reine Status-Abfragen, nichts, was etwas verändert.

Dahinter steht eine These, die wir prüfen wollten: Die Fähigkeit eines Assistenten muss nicht in den Modellgewichten stecken. Sie kann in einer externen, prüfbaren Wissensbasis liegen — flache Textdateien in einem Git-Repository, die ein Mensch lesen, korrigieren und freigeben kann. Das Modell liefert das Sprachverständnis; das Wissen liefert das Repo. Trägt diese Trennung?

Zum Messen diente eine Test-Suite aus 127 realen Fällen. Manche verlangen ein Werkzeug, manche verlangen bewusst ein „ich weiß es nicht", manche brauchen Kontext, den das Modell nicht von sich aus hat.

Was passierte: die echten Zahlen

Zuerst die nackten Modelle, ohne jede Wissensbasis. Wir stellten das kleine lokale Modell einem dreimal größeren gegenüber.

Das große Modell war nicht besser — es war schlechter. 31 gegen 37 Prozent. Der Grund zeigte sich in den Fehlern: Beide Modelle scheiterten überwiegend nicht am Denken, sondern am Nichtwissen. Welcher Dienst auf welchem Server läuft, wie eine bestimmte URL aufgebaut ist, welches von zwei ähnlichen Werkzeugen gemeint ist — das steht in keinem Modellgewicht, egal wie groß das Modell ist.

Ein Kontroll-Experiment bestätigte die Diagnose: Spielten wir dem kleinen Modell den jeweils fehlenden Kontext direkt ein, sprang seine Quote von 28 auf 71 Prozent. Das Wissen war der Engpass, nicht die Modellgröße.

Also bauten wir genau dieses Wissen ins Repo: die Zuordnung von Diensten zu Servern, die kanonischen URL-Formen, ein paar kurze Vorzugsregeln für die kniffligen Fälle. Vor jeder Antwort bekommt das Modell die passenden Schnipsel dazu und muss sein Ergebnis anschließend gegen eine feste Grammatik validieren. In mehreren Iterationen über den Tag kletterte die Trefferquote so von 37 auf 91 Prozent.

Der größte Einzelsprung kam dabei nicht von mehr Rechenleistung, sondern von einem einzigen Satz: einer Vorzugsregel, die einen häufigen Verwechslungsfehler zwischen zwei Werkzeugen abstellte. Eine Zeile Text, ein Dutzend Fälle mehr.

Und eine Zahl zieht sich durch die ganze Tabelle: null falsche Aktionen. Kein einziges Mal hat das System etwas Falsches „getan". Das war Absicht — wo das Modell unsicher ist, soll es sich enthalten statt zu raten. Diese Disziplin haben wir härter bewertet als die reine Trefferquote.

Was wir daraus lernen

1. Wissen schlägt Gewichte — jedenfalls hier. Bei einer Domänenaufgabe, deren Engpass fehlendes Faktenwissen ist, holt ein kleines Modell mit gutem Grounding mehr heraus als ein dreimal größeres ohne. Größer ist nicht automatisch besser; oft ist es nur langsamer und teurer.

2. Die Fähigkeit gehört ins Repo, nicht in die Gewichte. Weil unser Wissen in lesbaren Dateien liegt, lässt sich jede Regel ansehen, prüfen und freigeben, bevor sie wirkt. Ein Fehler ist ein Ein-Zeilen-Fix mit Testabdeckung — kein Trainingslauf über Nacht. Das ist der eigentliche Gewinn: Korrigierbarkeit statt Blackbox.

3. Enthaltung ist ein Feature. Ein Assistent, der ehrlich „weiß ich nicht" sagt, ist mehr wert als einer, der selbstbewusst danebenliegt — gerade in der IT. Null falsche Aktionen war kein Zufall, sondern Zielvorgabe.

4. Der Fortschritt war gemessen, nicht gefühlt. Jeder Schritt lief gegen dieselbe Test-Suite. „Fühlt sich besser an" zählt bei uns nicht — nur die Zahl auf dem Testset entscheidet.

Der nächste Schritt ist, aus diesen Läufen Trainingsdaten zu gewinnen und dem kleinen Modell einen Teil des Wissens fest anzutrainieren — sauber getrennt von der prüfbaren Basis, die die Kontrolle behält. Aber die These steht schon jetzt: Man muss nicht das größte Modell nehmen. Man muss dem kleinen die richtigen Fakten danebenlegen — und zwar so, dass ein Mensch sie noch lesen kann.