DeepSeek V4 Flash auf dem DGX Spark: unsere Einstellungen
Welche Flags wir für DeepSeek-V4-Flash im 3-Bit-Quant gesetzt haben — Kontext, KV-Cache, Sampler-Reihenfolge, DRY — und warum jede einzelne.
WeiterlesenLaborberichte
Laborberichte
Experimente mit lokaler KI aus eigener Hand — Aufbau, Messung, Ergebnis. Ehrlich dokumentiert, auch die Fehlschläge.
Der Name stand 13-mal im Prompt. Es half nicht.
Ein Assistent auf nanobot verlor seine Rolle: Bei stark quantisierten Modellen entscheidet die Position im Systemprompt, nicht die Wiederholung.
Weiterlesen
paperless-ai lief 3.335-mal ins Leere
paperless-ai klassifizierte wochenlang nichts: Der Restrict-Modus unterdrückte still das Tag-Vokabular — 3.335 Aufrufe ohne Wirkung.
Weiterlesen
Sieben Optimierungen gemessen, keine behalten
Vier Tuning-Eingriffe und eine Vektordatenbank: alle plausibel, alle wieder ausgebaut. Was am Ende wirklich half, kostete keine Rechenzeit.
Weiterlesen
Aufgebaut und wieder abgebaut: ein Tag mit Buzz
Wir haben Jack Dorseys Agenten-Chat lokal aufgesetzt, zum Laufen gebracht und am selben Abend wieder entfernt. Der Grund war nicht die Software — und die lehrreichste Stunde kam ganz am Schluss.
Weiterlesen
Grounding schlägt Gewichte: 37 % → 91 % ohne Training
Ein kleines lokales Modell mit prüfbarer Wissensbasis schlug ein 120B-Modell — von 37 auf 91 % Tool-Trefferquote an einem Tag, ohne einen Trainingsschritt.
Weiterlesen
KI-Transparenz, freiwillig
Ab 2. August verlangt der AI Act Kennzeichnung von KI-Inhalten — mit redaktioneller Verantwortung greift eine Ausnahme. Warum wir trotzdem kennzeichnen.
Weiterlesen
„Ich weiß es nicht“ ist ein Feature
Eine KI, die selbstbewusst danebenliegt, ist gefährlicher als eine, die sich ehrlich enthält. Warum wir Enthaltung höher werten als Trefferquote.
Weiterlesen
Zwei Nächte A/B-Tests: Was lokale Dev-Modelle lehrten
A/B-Tests zeigen: Beim 27B-Modell kauft der Thinking-Modus nur Wartezeit. Mehr billige Versuche und kleinerer Zuschnitt sind der Hebel.
Weiterlesen
Drei Sprachmodelle auf einer Maschine
Ein lokaler KI-Server, drei Modelle für drei Aufgaben: warum ein kleines MoE ein größeres Dense-Modell schlägt — und Bandbreite mehr zählt als Parameter.
Weiterlesen