Gesichtskreation durch KI (Foto: IMAGO, IMAGO / Zoonar)

Diskriminierung durch KI

Auch Künstliche Intelligenz hat Vorurteile

STAND
AUTOR/IN
David Beck
ONLINEFASSUNG
Elisabeth Theodoropoulos

Menschen sind leider nicht vorurteilsfrei. Ein Versprechen der künstlichen Intelligenz war es, einen objektiven Blick zu liefern. Aber wie es scheint, übernimmt KI einfach unsere Vorurteile.

Audio herunterladen (5,9 MB | MP3)

Bei weißen Männern funktioniert es, bei schwarzen Frauen nicht – ein häufiges Ergebnis, wenn man Gesichtserkennungs-Software testet. In ihrem Ted-Talk beschreibt die dunkelhäutige Joy Buolamwini, wie sie von Gesichtserkennungs-Software, wie sie zum Beispiel in Kameras eingesetzt wird, oft nicht erkannt wird.

Hallo Kamera! Ich habe ein Gesicht. Erkennst du mein Gesicht? Vielleicht ohne Brille? Ihr Gesicht erkennst du, was ist mit meinem?

Das Gesicht ihrer asiatischstämmigen Kollegin wird erkannt, ihres aber erst als sie sich eine weiße Maske aufsetzt, die gerade mal auf die grundlegendsten Merkmale eines Gesichts reduziert ist: Augen, Nase, Mund.

KI ist in praktischen Situationen nicht vorurteilsfrei

Der Ted-Talk von Joy Buolamwini ist von 2017. Spätestens seitdem bröckelt es gewaltig am Versprechen der vorurteilsfreien KI.

Viele Menschen glauben, dass KI frei von Vorurteilen sind, dass ihnen solche Dinge gleichgültig sind. Aber das stimmt nicht. Wir versuchen dafür ein Bewusstsein zu schaffen und auch Wege zu finden, wie man das richtigstellen kann.

Doch bevor das Problem gelöst werden kann, muss die Arbeitsgruppe von Ksenia Keplinger erst einmal die Ursache dafür finden. Denn auf dem Papier ist KI tatsächlich völlig vorurteilsfrei. Ein Algorithmus an sich besteht aus Programmiercode. Er teilt nicht – zumindest nicht bewusst – unsere Geschichte, in der Vorurteile oder Rassismus und Sexismus gewachsen sind. Das Problem ist aber auch nicht der Algorithmus, sondern – wieder einmal – wir selbst.

Gesichtserkennung durch KI  (Foto: IMAGO, IMAGO / Westend61)
Die Trainingsdaten der KI sind gespeist mit Daten, welche die Vorurteile der Gesellschaft repräsentieren. Nicht weiße Menschen sind unterrepräsentiert, daher haben Gesichtserkennungssoftwares Probleme dunkelhäutige Gesichter zu erkennen. IMAGO / Westend61

Laut Ksenia Keplinger, der Gruppenleiterin am Max-Planck-Institut für Intelligente Systeme in Stuttgart gibt es zwei Wege, die erklären können woher die Vorurteile kommen. Der erste sind vorurteilsbehaftete Trainingsdaten.

Trainingsdaten der KI sind vorurteilsbehaftet

Vorurteilsbehaftet ist möglicherweise z.B. auch ein Algorithmus, der Bewerbungen filtert. Den würden Entwickler mit allen Bewerbungen trainieren, die je bei dem Unternehmen eingegangen sind – mit einem Hinweis darauf, welche Bewerbung erfolgreich war und welche nicht. So lernt der Algorithmus, was dem Unternehmen bei einer Bewerbung wichtig ist, welche Bewerber am besten passen.

Das Problem daran ist, dass genau in diesen Trainingsdaten ja schon unsere eigenen Vorurteile stecken. Männer wurden in der Vergangenheit bevorzugt, deswegen lernt die KI, dass Männer die besseren Bewerber sind. Migrantinnen und Migranten wurden benachteiligt, deswegen sind das für die KI die schlechteren Bewerber.

Gesichtserkennung von jungem Geschäftsmann durch KI (Foto: picture-alliance / Reportdienste, picture alliance / Zoonar | Robert Kneschke)
KI, welche Unternehmen in Bewerbungssituationen unterstützen sollen bevorzugen weiße, junge Männer, da diese in der Vergangenheit meist die bevorzugten Kandidaten waren. Daher sind die KI nicht diskriminierungsfrei. picture alliance / Zoonar | Robert Kneschke

Die Trainingsdaten könnten zwar noch verfeinert werden – etwa mit Daten, wer wie lange im Unternehmen geblieben ist oder wer wie schnell aufgestiegen ist – allerdings stecken auch in diesen Daten wieder dieselben Vorurteile.

Wenn ich Vorträge zu diesem Thema halte, dann reagieren die Leute immer gleich. Sie sagen: ‚Aber es funktioniert. Wir brauchen Algorithmen, die funktionieren, deswegen haben wir keine Zeit, um uns über sowas Gedanken zu machen.

KI-Entwicklungsteams sind nicht divers

Das führt zur zweiten Quelle von Vorurteilen in der KI: Die Menschen, die sie entwickeln oder anders gesagt: Die Abwesenheit derer, die nicht daran beteiligt sind.

Gesichtserkennung eines Businessman durch KI (Foto: IMAGO, IMAGO / Westend61)
In KI Entwicklerteams sind, laut Ksenia Keplinger, weiße Männer überrepräsentiert. IMAGO / Westend61

Ksenia Keplinger berichtet, dass die Teams, die solche Algorithmen entwickeln, hauptsächlich aus weißen Männern bestehen. Das ist ein Problem, über das in den vergangenen zehn Jahren viel gesprochen wurde, aber verändert hat sich kaum etwas.

Dann sind wir in einer Situation, in der Dinge für spezifische demographische Gruppen entwickelt werden, aber diese Gruppen werden von der Entwicklung selbst ausgeschlossen. Das passiert nicht immer, weil Menschen versuchen andere auszuschließen, es passiert auch aus Ignoranz. Niemand denkt darüber nach.

Kunstprojekt "Fair" möchte Problematik aufzeigen

Eine KI, die gar nicht erst versucht vorurteilsfrei zu sein, ist das Kunstprojekt „Fair“, entwickelt von Studierenden der Hochschulen Heilbronn und Pforzheim.

Im Prinzip macht das Exponat was sehr menschliches. Und zwar versucht es anhand eines Bildes Dinge über einen Menschen vorherzusagen, also Dinge wie Alter, Geschlecht, Herkunft. Aber auch inkriminierendere Details wie zum Beispiel das Einkommen oder den Gesundheitszustand, um damit auch Menschen in eine Schublade zu stecken.

Patrick Hanselmann studiert Softwareentwicklung an der Hochschule Heilbronn und hat „Fair“ mitentwickelt.

Ziel des Projekts, ist es natürlich nicht, Dinge über sich zu erfahren, die man eh schon weiß oder zu zeigen, dass die KI eben nicht alles genau vorhersagen kann, sagt Nicole Ondrusch, Professorin für Softwareentwicklung an der Hochschule Heilbronn, die das Projekt betreut hat.

Erstmal ist das natürlich lustig. Aber wenn die KI dann anfängt den Gesundheitszustand oder das eigene Eheverhalten vorherzusagen, dann sind schon mal Gedanken da, die sagen, oha! Ist denn das etwas, was ich möchte? Und was macht der Algorithmus eigentlich mit diesen Informationen oder anders: Was kann mit diesen Informationen getan werden?

Und noch problematischer wird es natürlich, wenn die Vorhersagen vorurteilsbehaftet sind.

"Fair" KI ist auch vorurteilsbehaftet

Die Vorhersagen von „Fair“ sind nicht absichtlich mit Vorurteilen versehen – aber die Studierenden sind sich auch durchaus bewusst, dass der Algorithmus vorurteilsbehaftet sein könnte. Aufgrund eigener Vorurteile und der verwendeten Datensätze, sagt Patrick Hanselmann.

Konzept einer KI (Foto: IMAGO, IMAGO / Imaginechina-Tuchong)
Bisher gibt es kaum Qualitätsstandards, wie die Trainingsdaten der KI zusammengestellt werden sollen. IMAGO / Imaginechina-Tuchong

Da es für Faktoren wie Einkommen und Gesundheitszustand keine verfügbaren Datensätze gibt, mussten die Entwickelnden von "Fair" diese Datensätze selbst zusammenstellen. Mitentwickler Patrick Hanselmann sagt selbst, dass er nicht garantieren kann, dass diese Datensätze frei von seinen eigenen Vorurteilen sind.

In wirklich ausbalancierte Datensätze muss man eine Menge Arbeit reinstecken. Das ist wesentlich aufwändiger als einfach im Internet sich 50.000 Bilder von Menschen zusammenzustellen, wie die Entwickelnden von "Fair" es getan haben.

Ich glaube, ein erster Schritt, um dies besser zu handhaben, könnte sein, wenn man sich in der Community auf Qualitätsstandards einigt und auch versucht, diesen zu folgen.

Bessere Datensätze und diversere Entwicklerteams nötig, um fairere KI zu erschaffen

Dass Vorurteile völlig aus Algorithmen verschwinden, glaubt Ksenia Keplinger allerdings nicht. Deswegen wird für die Zukunft noch ein dritter Ansatzpunkt im Umgang mit KI wichtig, sagt sie.

Neben der technischen gibt es noch die menschliche Seite. Wir müssen uns beide Seiten anschauen. Die menschliche Seite muss sich bewusst sein, dass die KI möglicherweise vorurteilsbehaftet sein könnte. Anstatt einfach nur alles abzunicken, was uns die KI vorschlägt, müssen wir alle Informationen beurteilen und darauf basierend Entscheidungen treffen.

Das würde allerdings auch voraussetzen, dass Menschen sich ihrer Vorurteile bewusstwerden und diese ablegen. Ein höheres Ziel, das bisher von keiner Gesellschaft, keiner Kultur umgesetzt werden konnte. Und auch, dass es in Zukunft passieren wird, ist unwahrscheinlich. Ein „Perfekt“ ist nicht möglich, glaubt Ksenia Keplinger, aber wir sollten trotzdem nach einem „Besser“ streben.

Wir sind Menschen. Selbst, wenn die KI perfekt wäre, Menschen haben immer noch Vorurteile. Deswegen werden wir sie nicht zu 100 Prozent los, aber wir können sie begrenzen, um eine gerechtere Gesellschaft zu schaffen.

Berlin / Heilbronn

Heilbronner Projekt soll europaweit Firmen anziehen Innovationspark Künstliche Intelligenz in Berlin vorgestellt

Der "Ipai" soll das größte Ökosystem für Künstliche Intelligenz in Europa werden. Rund 200 Gäste kamen zur Vorstellung des Projekts in Berlin.

SWR4 BW am Vormittag SWR4 Baden-Württemberg

Heilbronn

Baden-Württemberg will größtes KI-Ökosystem in Europa Künstliche Intelligenz: Bundesweites Interesse an Heilbronner Projekt

In der Landesvertretung Baden-Württemberg in Berlin wird am Donnerstagabend der in Heilbronn entstehende Innovationspark Künstliche Intelligenz vorgestellt.

SWR4 BW am Nachmittag SWR4 Baden-Württemberg

Karlsruhe

Neue Technologien in der Justiz Welche Rolle Künstliche Intelligenz am Oberlandesgericht Karlsruhe spielt

Beim Jahrespressegespräch im Oberlandesgericht Karlsruhe ging es am Dienstag vor allem um ein Thema: den Einsatz Künstlicher Intelligenz. Dabei wird klar: Davon ist das OLG noch weit entfernt.

SWR4 BW aus dem Studio Karlsruhe SWR4 BW aus dem Studio Karlsruhe

Was geht - was bleibt? Zeitgeist. Debatten. Kultur. Kreativität und KI: Ist Maschinenkunst auch Kunst?

Programme wie Dall-E oder Midjourney revolutionieren die Art und Weise wie Kunst hergestellt wird. Es braucht nur noch eine Eingabe, einen Prompt, der das gewünschte Bild präzise beschreibt und in Windeseile spuckt der Algorithmus passende Darstellungen aus.
Gerade hat Google ImaGen vorgestellt, das bewegte Bilder herstellt, Videos zu bauen ist also auch kein Problem mehr. Schon lange gibt es automatische Textgeneratoren wie GPT-3. Die Zukunft ganzer Berufszweige der Kreativbranche scheint bedroht zu sein.
Der Künstler Mario Klingemann arbeitet schon lange mit KI. Jetzt, wo jede*r mithilfe von Programmen wie Dall-E Kunst erzeugen kann, wird es für ihn als Künstler immer schwerer wirklich Neues zu schaffen: „Das reine Erzeugen hübscher Bilder ist mir zu einfach. Ich versuche herauszufinden, was Kunst ausmacht“, sagt er uns.
Die Literaturwissenschaftlerin Stephanie Catani von der Uni Würzburg forscht unter anderem zu Literatur und Kunst, die auf Algorithmen basiert. Sie ist der Meinung, dass eine KI erst mal noch nicht den großen Roman schreiben wird.
Einen ganzen fiktionalen Text zu schreiben, das könnten Maschinen noch nicht besonders gut. Was Catani hingegen mehr interessiere, ist die Frage: „Welches kreative Potenzial steckt in der Maschine als Tool für Künstler*innen der Gegenwart? Denn das eigentlich Kreative ist, mit diesem Programm so umzugehen, dass etwas entsteht, was weiterdenkt.“

Unsere Kollegen vom NDR haben in ihrem Podcast „Die Idee“ auch eine Folge zum Thema Künstliche Intelligenz gemacht! Norbert Grundei spricht darin mit dem KI-Experten Prof. Peter Kabel darüber, ob Künstliche Intelligenz die Bestseller von morgen schreibt oder die Charthits, die wir hören. Er sagt: Ja! Denn für bestimmte Texte ist heute schon KI verantwortlich. Hört doch mal rein bei „Die Idee“:
https://www.ardaudiothek.de/episode/die-idee-mit-norbert-grundei/36-was-kann-die-kuenstliche-intelligenz-prof-peter-kabel/n-joy/12007465/

Weblinks zum Thema:
Dall-E 2: https://openai.com/dall-e-2/
Midjourney: https://www.midjourney.com/home/
Google KI-Video Genarator: https://imagen.research.google/video/
Mario Klingemann: https://quasimondo.com/
KI-Podcast Steve Jobs im Joe Rogan-Interview: https://share.transistor.fm/s/22f16c7f
SWR Wissenschaftspodcast "Fakt ab": https://www.ardaudiothek.de/episode/fakt-ab-eine-woche-wissenschaft/sie-hat-jetzt-einen-anwalt-eine-google-ki-macht-ernst/swr2/10625093/
Was geht - was bleibt? Die Debatte um LaMDA: https://www.ardaudiothek.de/episode/was-geht-was-bleibt-zeitgeist-debatten-kultur/debatte-um-lamda-haben-algorithmen-gefuehle/swr2/10588035/

Habt ihr noch mehr Themen, die wir uns dringend anschauen sollten? Schreibt uns an kulturpodcast@swr.de

Host: Max Knieriemen
Redaktion: Max Knieriemen und Kristine Harthauer

STAND
AUTOR/IN
David Beck
ONLINEFASSUNG
Elisabeth Theodoropoulos