„Ich weiß es nicht“ ist ein Feature
Eine KI, die selbstbewusst danebenliegt, ist gefährlicher als eine, die sich ehrlich enthält. Warum wir Enthaltung höher werten als Trefferquote.
Die meisten Sprachmodelle haben eine unangenehme Eigenschaft: Sie antworten immer. Auch dann, wenn sie es nicht wissen. Statt „das kann ich nicht beurteilen" kommt eine flüssige, selbstbewusste — und manchmal komplett falsche — Antwort. In einem Chatfenster ist das ärgerlich. In einem System, das etwas tut, ist es gefährlich. Deshalb bauen wir unsere KI-Werkzeuge bewusst so, dass Enthaltung eine erlaubte, ja erwünschte Antwort ist.
Selbstbewusst falsch ist schlimmer als ehrlich unsicher
Ein Mensch, der ehrlich sagt „da bin ich mir nicht sicher, das prüfe ich", ist ein guter Kollege. Ein Mensch, der auf jede Frage eine überzeugte Antwort gibt, egal ob er es weiß, ist ein Risiko — weil man ihm nicht mehr ansieht, wann er richtig liegt. Bei KI ist es genauso, nur schneller und in größerem Maßstab. Das gefährlichste Ergebnis ist nicht die falsche Antwort, die als unsicher markiert ist. Es ist die falsche Antwort, die wie eine sichere aussieht.
Gerade in der IT sind die Einsätze hoch: Ein Assistent, der einen Dienst fälschlich als „läuft" meldet, oder eine Aktion auf dem falschen System ausführt, richtet realen Schaden an. Ein Assistent, der sagt „das kann ich von hier aus nicht sicher beurteilen", tut das nicht.
Enthaltung als erste Wahl, nicht als Notausgang
In der Praxis heißt das: Wir behandeln „ich weiß es nicht" nicht als Versagen, sondern als gültiges Ergebnis — und bewerten es entsprechend. Wenn wir unsere Werkzeuge messen, zählt eine ehrliche Enthaltung im Zweifel als richtig, und eine selbstbewusste Falschaktion als schwerer Fehler als eine bloße Fehlklassifikation. Wer stattdessen nur die reine Trefferquote optimiert, trainiert dem System das Raten an: Es lernt, dass Hauptsache-eine-Antwort belohnt wird. Genau das wollen wir nicht.
Der Effekt ist messbar. In unserem Infrastruktur-Assistenten, der aus Anfragen das passende Werkzeug wählt, haben wir über hunderte Testfälle hinweg null Falschaktionen — kein einziges Mal hat das System etwas Falsches „getan". Das ist kein Zufall, sondern Zielvorgabe: Wo das Modell unsicher ist, enthält es sich, statt zu raten. Diese Disziplin haben wir härter gewichtet als die reine Trefferquote — und würden es wieder so machen.
Woher die Sicherheit kommt
Damit sich ein Modell sinnvoll enthalten kann, muss es zwei Dinge dürfen: erstens die Option „nichts tun" überhaupt haben, und zweitens genug Kontext, um zu erkennen, wann sie richtig ist. Beides bauen wir aktiv ein. Fehlt einem Werkzeug schlicht das Wissen für eine Frage — etwa, ob ein Dienst von außen erreichbar ist, was ein rein intern laufender Assistent gar nicht prüfen kann — dann ist die ehrliche Antwort die Enthaltung, und wir sorgen dafür, dass das System das auch positiv weiß, statt eine plausible Ersatzantwort zu erfinden.
Das Ergebnis ist ein Assistent, dem man trauen kann — nicht weil er alles weiß, sondern weil er ehrlich ist, wenn er etwas nicht weiß. Dass ein kleines lokales Modell dabei erstaunlich weit kommt, sobald man ihm die richtigen Fakten danebenlegt, haben wir separat gemessen: Grounding schlägt Gewichte.