Ein Forschungsteam der TU Berlin warnt vor dem sogenannten Kluger-Hans-Effekt: KI-Modelle erkennen zwar richtige Muster, stützen sich dabei aber auf irrelevante Hinweise – etwa handschriftliche Notizen statt medizinischer Bildinhalte. Besonders bei unsupervised learning, also dem selbstständigen Erkennen von Mustern, ist das riskant. Denn solche Modelle können später in der Praxis versagen, wenn der scheinbar kluge Weg in die Irre führt.
Wie entdeckte das Forschungsteam die Schwächen der KI?
Das Berliner Forschungsteam hat KI-Modelle getestet – zum Beispiel mit Lungenbildern von Patienten – und hat dabei eine große Schwäche von KI-Modellen entdeckt. Das KI-Modell hat Fehler gemacht, die am Anfang nur sehr schwer zu entdecken sind.
Ein KI-Modell sollte anhand von Lungenröntgenbildern lernen, welche Patienten eine Infektion hatten und welche nicht. Das hat erst mal gut geklappt, doch als das Forschungsteam mit weniger einheitlichen Röntgenbildern arbeiten musste, machte die KI plötzlich viele Fehler.
Daraufhin fand das Forschungsteam heraus, dass die KI nie wirklich gelernt hatte, eine Infektion in den Röntgenbildern von Lungen zu erkennen. Sie hatte vor allem durch Notizen am Bildrand gelernt zu erkennen, wo eine Infektion vorliegt. Man könnte sagen: Sie hat fast schon ein bisschen geschummelt.
Den gleichen Effekt hat man auch schon bei einer anderen KI zur Bilderkennung beobachtet: Sie sollte zwischen deutschen und amerikanischen Panzern unterscheiden. Das hat geklappt, aber schnell war klar: Die KI hat nicht wirklich die Panzer erkannt, sondern vor allem auf den Hintergrund geschaut. Ein Panzer mit Wald im Hintergrund hieß deutscher Panzer, ein Wüstenhintergrund war ein Hinweis auf einen amerikanischen Panzer.
Fachleute sprechen vom Kluger-Hans-Effekt. Was ist damit gemeint?
Dieser Effekt ist bisher vor allem in der Psychologie bekannt, betrifft aber auch KI-Systeme. Der Kluger-Hans-Effekt ist tatsächlich nach einem Pferd benannt – und mit dem Pferd lässt sich der Effekt auch sehr gut erklären.
Vor über 100 Jahren sorgte das Pferd Hans für Aufsehen, weil es rechnen und buchstabieren konnte – behauptete zumindest ein Lehrer aus Berlin. Und tatsächlich: Das Pferd hat immer so lange mit dem Huf auf den Boden geklopft, bis das richtige Ergebnis als Antwortmöglichkeit angezeigt wurde. Das Pferd kam also zu richtigen Ergebnissen – aber wie?
Ein Psychologiestudent konnte das Rätsel nach Monaten lösen. Das Pferd hatte gelernt, den Fragesteller genau zu beobachten – und so lange mit dem Huf zu klopfen, wie es der Fragesteller erwartete. Es achtete auf kleinste Änderungen in der Mimik des Fragestellers.
Das Pferd hatte also einen ganz anderen Ansatz als tatsächliches Rechnen, um zur Lösung zu kommen. Das klappte aber nur, wenn der Fragesteller für das Pferd auch zu sehen war. Ohne den Fragesteller, ohne Mimik, war das Pferd aufgeschmissen und machte fast nur noch Fehler. Und diesen Effekt hat man nun auch bei KI-Modellen gefunden.
Warum ist der Kluger-Hans-Effekt für KI-Modelle so ein großes Problem?
KI wird immer häufiger in Bereichen eingesetzt, in denen wichtige Entscheidungen getroffen werden – in der Medizin zum Beispiel. Wenn KI hier auf Röntgenbildern nach möglichen Krankheiten sucht, sollte die Diagnose schon richtig sein. Oder wenn KI in Zukunft Autos steuert, sollte das Auto auch in überraschenden Situationen richtig reagieren.
KI-Systeme sind vor allem vom Kluger-Hans-Effekt betroffen, wenn sie selbst in Daten nach neuen Mustern suchen sollen. Hier hat KI großes Potenzial – denn vielleicht findet sie ganz neue Zusammenhänge und Muster, die Menschen noch nicht gesehen haben oder die so komplex sind, dass Menschen sie nur schwer entdecken können. Das ist eine große Chance für KI-Systeme, die nach dem „unüberwachten“ Lernsystem arbeiten – wenn sie ganz selbstständig nach Lösungen in riesigen Datenmengen suchen.
Aber KI kann da auch viel Können vortäuschen – und das wird zum Problem, wenn KI im Bereich der Medizin, Bildung oder auch Sicherheit eingesetzt wird.
Wie können wir dem Kluger-Hans-Effekt bei KI begegnen?
KI-Systeme sollten möglichst keine Black Boxes mehr sein – häufig ist bisher nicht klar, wie eine Künstliche Intelligenz zu ihren Lösungen kommt. KI-Modelle sollten in Zukunft also erklären, was die wichtigsten Faktoren auf dem Weg hin zur Lösung waren.
Schauen wir noch auf ein weiteres Beispiel: Ein KI-System hatte die Aufgabe, Wölfe von Huskys zu unterscheiden. Das hat auch gut geklappt – aber nur so lange, wie Huskys auf dem Bild von Schnee umgeben waren. Bilder aus dem Sommer, ohne Schnee, waren ein Problem.
Die KI hatte also auch hier gelernt, mehr auf den Hintergrund zu schauen. Ein Bild mit Schnee bedeutete Husky, ein Bild ohne Schnee bedeutete Wolf. Das Problem zeigt sich, wenn ein Husky im Sommer ohne Schnee fotografiert wird.
Die Lösung könnte in der sogenannten Explainable AI, also erklärbare KI, liegen. Dabei macht die KI ihre Entscheidungswege transparent und erklärt, welche Faktoren für ihre Entscheidung wichtig waren. Im Fall des Husky-Beispiels hätte die KI dann direkt offengelegt, dass sie hauptsächlich auf den verschneiten Hintergrund achtet - und Menschen hätten diesen Fehler schnell erkennen und korrigieren können.
Wie sollen wir mit KI-Systemen und deren Antworten prinzipiell umgehen?
Jedes KI-System hat ein Stück weit seine ganz eigenen Stärken und Schwächen. In einzelnen Teilbereichen ist KI schon sehr gut, übertrifft in IQ-Tests den Menschen – aber gleichzeitig scheitert das System manchmal daran, die Buchstaben von einem Wort oder kurzen Satz zu zählen. Daher wird es auch in Zukunft wichtig sein, dass sich ein Mensch nie zu hundert Prozent auf eine KI verlassen sollte.
Man sollte KI immer als einen Assistenten sehen, bei dem man stets kritisch bleiben sollte. In Zukunft werden wir lernen, in welchen Bereichen wir KI bereits vertrauen können – dort, wo sie deutlich zuverlässiger arbeitet als der durchschnittliche Mensch. Das haben wir etwa beim Rechnen bereits verstanden, wo selbst ein einfacher Taschenrechner dem Menschen deutlich überlegen ist.
Auch in der Medizin zeigt sich bereits, dass KI-Assistenzsysteme in bestimmten Teilbereichen präzisere Ergebnisse liefern als Allgemeinärzte. Das KI-System hat Zugriff auf Tausende von Trainingsdaten und kann damit weitaus mehr Informationen berücksichtigen als ein Hausarzt.
Aber auch hier gilt: Künstliche Intelligenz ist nur ein Assistent – und sollte ihre Diagnose bestmöglich transparent erklären, damit ein Arzt mögliche Fehler und abstruse Wege hin zur Diagnose entdecken kann. Damit lässt sich das Risiko des Kluger-Hans-Effekts deutlich minimieren.
