Wir haben in einem Projekt das beste Modell genommen, das zu dem Zeitpunkt zu haben war. Es hat dann zuverlässig den falschen Kunden gefunden — weil es ihn dreimal gab. Einmal als „Müller GmbH“, einmal als „Mueller G.m.b.H.“, einmal als „Müller Gesellschaft mbH“, alle drei mit leicht abweichender Adresse, alle drei über Jahre angelegt von Menschen, die ihre Arbeit ordentlich gemacht haben. Das Modell hat nicht halluziniert. Es hat exakt das getan, was in den Daten stand. Und in den Daten standen drei Kunden, wo es einen geben sollte.
Das ist die unbequeme Wahrheit hinter den meisten enttäuschten KI-Projekten im Mittelstand. Es liegt fast nie am Modell. Die Modelle sind heute besser, als die Daten es verdienen, auf die man sie loslässt. Ein Sprachmodell macht aus einem sauberen Datensatz eine saubere Antwort und aus einem widersprüchlichen Datensatz eine widersprüchliche — nur sagt es das nicht dazu. Es liefert den Widerspruch im selben ruhigen, überzeugten Ton wie die Wahrheit. Und genau das macht schlechte Stammdaten unter KI gefährlicher, als sie es vorher waren.
Was ein Modell mit schlechten Stammdaten wirklich tut
Ein Mensch, der in einer gewachsenen Kundenliste nach „Müller“ sucht, sieht die drei Treffer, stutzt und denkt: Moment, das ist doch derselbe. Er kennt den Kunden, er erkennt die Adresse wieder, er weiß, dass die G.m.b.H.-Schreibweise noch aus der alten Buchhaltung stammt. Diese Erkennung passiert nebenbei, ungeschrieben, und sie ist der Grund, warum die Liste trotz ihrer Dubletten jahrelang funktioniert hat. Sie funktioniert durch Menschen, die im Kopf zusammenführen, was in den Daten getrennt steht.
Ein Modell hat diese Erkennung nicht. Es sieht drei Datensätze und behandelt sie als drei, weil sie drei sind. Es summiert den Umsatz auf den falschen, schickt die Rechnung an die veraltete Adresse, meldet den Kunden als Neukunden, obwohl er seit zwölf Jahren da ist. Nichts davon ist ein Fehler im klassischen Sinn. Das Modell rechnet korrekt — auf einer Grundlage, die schon falsch war, bevor es sie anfasste. Es hat den Fehler nicht gemacht. Es hat ihn nur skaliert und ihm eine selbstsichere Stimme gegeben.
Gute KI scheitert an schlechten Stammdaten, nicht am Modell.
Ein Projekt, an dem das sichtbar wurde
In einem unserer Projekte sollte ein KI-Assistent dem Vertrieb helfen: Frag nach einem Kunden, bekomm seine Historie, offene Posten, letzte Bestellungen, Ansprechpartner. Ein nützlicher, bodenständiger Fall, nichts Spektakuläres. In der Demo lief er sauber — auf fünf handverlesenen Kunden, die jemand vorher geprüft hatte. Dann haben wir ihn auf den echten Bestand gelassen: rund 14.000 Kunden- und 4.200 Lieferantensätze, gewachsen über elf Jahre, aus zwei Firmenzusammenlegungen, einem ERP-Wechsel und unzähligen manuellen Anlagen.
Das Ergebnis war ernüchternd und lehrreich zugleich. Bei den Lieferanten fanden wir rund 600 Dubletten — derselbe Lieferant in zwei, drei, einmal sogar in fünf Schreibweisen, mal mit Rechtsform, mal ohne, mal mit Umlaut, mal mit ae. Bei den Kunden lag eine Pflichtangabe, die der Assistent für seine Antworten brauchte, in etwa einem Fünftel der Sätze schlicht leer — nicht falsch, leer, weil das Feld vor 2018 noch gar nicht existierte. Und ein Statusfeld, das „aktiv“ und „inaktiv“ unterscheiden sollte, hatte über die Jahre sieben verschiedene Ausprägungen angesammelt, von „a“ über „aktiv“ bis „AKTIV (siehe Notiz)“.