„Das hat die KI gesagt.“ Diesen Satz höre ich seit einiger Zeit häufiger, und er fällt meistens dann, wenn jemand nach der Grundlage einer Entscheidung fragt. Er wird ruhig gesagt, fast beiläufig, und niemand widerspricht. Die Antwort war sauber formuliert und traf den richtigen Ton.
Das Problem an diesem Satz ist nicht, dass die Antwort falsch gewesen sein könnte. Vielleicht war sie richtig.
Das Problem ist, dass im Raum niemand den Unterschied kannte.
Sprachliche Sicherheit und Sachkenntnis
Wir haben unser ganzes Leben lang gelernt, Sachkenntnis an Sprache zu erkennen. Wer ein Thema klar erklärt, ohne zu stocken und im richtigen Register, hat es sich meistens erarbeitet. Diese Schlussfolgerung war über Jahrhunderte brauchbar, weil das eine ohne das andere kaum zu haben war.
Genau diese beiden Dinge trennt ein Sprachmodell. Es rechnet aus, welcher Textbaustein als nächster am wahrscheinlichsten ist, gemessen an allem, was es gelesen hat. Polemischer ausgedrückt: Es weiß nicht, wovon es redet. Es weiß aber sehr genau, wie jemand redet, der es weiß.
Deshalb greift der Ratschlag zu kurz, man solle eben „kritisch bleiben“. Wir werden nicht von einer Lüge getäuscht, sondern von einer korrekten Form. Und gegen Form ist Skepsis schlecht gerüstet. Sie springt bei Fehlern an, nicht bei glatten Sätzen.
Und was macht das mit uns?
Über die Fehler der Maschine wird viel geschrieben, in der Branche heißen sie „Halluzinationen“. Der zweite Effekt ist der gefährlichere. Über den schreibt kaum jemand.
Wer regelmäßig Antworten weitergibt, die er nicht selbst herleiten kann, verliert die Übung im Herleiten. Nach außen wirkt er kompetenter als vorher, weil er schneller antwortet und besser formuliert. Er gilt im Team schnell als „gut informiert“. Innen passiert das Gegenteil. Es entsteht Kompetenz auf Pump, also geliehene Sicherheit, die trägt, solange niemand die zweite Frage stellt.
So erzeugt künstliche Intelligenz künstlich Intelligente. Das liegt nicht an den Werkzeugen. Es liegt daran, dass sie uns den anstrengendsten Teil der Arbeit abnehmen können, und dieser Teil war derjenige, der uns kompetent gemacht hat.
Der Leser möge mich nicht missverstehen. Ich bin kein Verweigerer. Ich beschäftige mich sehr gern mit Technologien, um Menschen für Dinge zu begeistern, die mich begeistern.
Und gerade deshalb dieser Text. Werkzeuge, die viel können, verlangen mehr vom Anwender statt weniger. Eines, das gut aussieht und falsch bedient wird, richtet mehr Schaden an als eines, dem man seine Grenzen ansieht. Vor der Technik warnen möchte ich hier niemanden. Ich möchte, dass wir lernen, sie zu bedienen.
Wo es teuer wird
Eine ungeprüfte Antwort ist so lange harmlos, wie sie nur gelesen wird. Sobald jemand danach handelt, ist sie es nicht mehr. Und gehandelt wird überall, in der Werkstatt genauso wie am Schreibtisch.
Nehmen wir einen Techniker, der ein Anzugsmoment genannt bekommt. 180 Newtonmeter, sauber ausgegeben, ohne den Hinweis, dass der Wert aus einer Baureihe stammt, deren Bezeichnung sich um einen einzigen Buchstaben unterscheidet. Die Schraube hält. Bis sie nicht mehr hält.
Das ist kein Einzelfall. Eine Kündigungsfrist ohne die Klausel, aus der sie stammt. Eine Summe, die niemand nachgerechnet hat, weil sie in einem ganzen Satz stand und nicht in einer Tabelle. Und ein Halbsatz aus einer Besprechung, den danach fünf Leute weitererzählen, ohne dass einer von ihnen noch weiß, woher er kam.
Diese Fälle haben etwas gemeinsam. Der Fehler steckt nicht in der Antwort, er steckt in der fehlenden Rückverfolgbarkeit. Man kann ihn nicht bemerken, weil nichts da ist, woran man ihn bemerken könnte.
Benutzen und bedienen
Die naheliegende Reaktion ist, KI-Antworten grundsätzlich zu misstrauen. Das ist genauso bequem wie blindes Vertrauen und hilft ebenso wenig. Wer alles nachprüft, hat nichts gewonnen. Wer nichts nachprüft, auch nicht.
Ein Werkzeug ist mächtig, wenn man versteht, was es tut, und wenn man es bedienen kann. Zwischen benutzen und bedienen liegt der ganze Unterschied. Benutzen kann eine KI jeder, der tippen kann. Bedienen heißt, die Antwort lesen zu können.
Vier Dinge gehören für mich dazu:
- Fragen, worauf die Antwort beruht, bevor man fragt, ob sie stimmt. Ohne Fundstelle ist eine Aussage eine Behauptung, unabhängig davon, wie gut sie klingt.
- Wissen, wofür das Werkzeug taugt. Ein Sprachmodell formuliert gut und rechnet schlecht. Wer eine Zahl braucht, muss wissen, wo sie herkommt.
- Ein fehlendes Ergebnis als Ergebnis behandeln. „Dazu liegt nichts vor“ ist eine Information, und sie durch eine plausible Vermutung zu ersetzen, ist der teuerste Schritt im ganzen Ablauf.
- Nichts weitergeben, wofür man nicht geradestehen will.
Die letzte Regel ist die einfachste und die wirksamste.
Der Teil, der nicht am Anwender hängt
Es wäre zu bequem, daraus allein eine Frage der Disziplin zu machen.
Die meisten Systeme geben dem Anwender gar nicht das Material, mit dem er prüfen könnte. Sie liefern einen Absatz und keine Fundstelle. Unter diesen Bedingungen ist Nachprüfen eine Sache von Willenskraft und Minuten, und beides ist im Arbeitsalltag knapp. Was Aufwand kostet, unterbleibt.
Das ist eine Entwurfsentscheidung und keine Charakterfrage. Ein System kann Prüfen teuer machen oder billig. Genau darum gelten in NXTGN AI CORE drei Festlegungen: Jede Kernaussage trägt ihre Fundstelle. Erweitert das System eine Suche über die Taxonomie, steht das dabei. Und wenn nichts vorliegt, dann steht dort, dass nichts vorliegt, statt einer gut formulierten Näherung. Zahlen entstehen übrigens nicht im Modell, die werden in der Datenbank gerechnet.
Mehr Werbung mache ich an dieser Stelle nicht. Es nimmt ohnehin niemandem die Verantwortung ab. Es macht die Prüfung billig genug, dass sie stattfindet.
Mein Resümee
Vieles kann man sich abnehmen lassen. Entwürfe, Zusammenfassungen, Auswertungen, die erste Fassung eines Textes. Man kann sich Stunden sparen und kommt schneller zu einem Ergebnis, das vorzeigbar ist. Fleißarbeit eben.
Aber die Verantwortung für eine Aussage lässt sich nicht abgeben. Sie bleibt bei dem, der sie ausspricht, und sie wird nicht kleiner dadurch, dass die Formulierung von woanders kam. Wer eine Antwort weitergibt, steht für sie ein. Das war vor der KI so, und daran hat sich nichts geändert.
Und ehrlich gesagt ist das eine ganz schön unbequeme Art, mit einem Werkzeug zu arbeiten, das einem alles so leicht macht.
Mich beschäftigt seit einiger Zeit eine andere Frage. Woran merkt ein Mensch noch, dass er etwas nicht verstanden hat.