STAND
AUTOR/IN

Internetshopping, Facebook, Call-Center, Online-Kredite - bei fast jeder Kommunikation ist künstliche Intelligenz schon dabei und entscheidet über uns. Meist bemerken wir das gar nicht.

Dauer
Sendedatum
Sendezeit
22:00 Uhr
Sender
SWR Fernsehen

Der gläserne Kunde

Die schöne neue Welt mit ihren unbegrenzten digitalen Möglichkeiten. Alles lässt sich mit ein paar Klicks oder Wischern über den Bildschirm erledigen. Von zu Hause, von unterwegs, im Prinzip von überall, wo man Internetempfang hat. Und die smarten Programme unterstützen uns dabei, denken mit, wissen oft schon vorher, was wir wollen und wie wir uns entscheiden werden.

Zum Beispiel beim Internetshopping: Nach kürzester Zeit hat die Programmierung gelernt, wer da gerade einkauft: Mann oder Frau, Konfektionsgröße, Alter, Geschmack und Interessen. Der Algorithmus erstellt ein Kundenprofil und schlägt weitere Produkte vor, die genau darauf zugeschnitten sind. Eigentlich ganz praktisch.

Künstliche Intelligenz trifft Entscheidungen, die unser Leben beeinflussen. (Foto: SWR, SWR)
Künstliche Intelligenz trifft Entscheidungen, die unser Leben beeinflussen. SWR

Wie die KI in Dein Portemonnaie schaut

Nur gehen viele Algorithmen noch einen Schritt weiter. Sie sammeln auch Daten, um die Kaufkraft des Kunden einzuschätzen: Dazu wird beispielsweise die Kundenadresse mit dem Immobilienspiegel abgeglichen. Die Preiskategorie des Endgeräts, mit dem ich im Internet unterwegs bin wird ausgelesen und natürlich das Preissegment, in dem ich meine Produkte suche.

Anhand dieser Daten schätzt die Programmierung meine Kaufkraft ein. Viele Shops im Internet nutzen diese Bewertung, um so die Preise an den jeweiligen Kunden individuell anzupassen. Wer für die KI als kaufkräftig gilt, zahlt dann einfach mehr! Natürlich so, dass es nicht bemerkt wird. Künstliche Intelligenz ist dabei eigentlich nichts anderes als eine Mustererkennung.

Sie sammelt Daten und versucht darin Zusammenhänge zu erkennen: Z.B. wer in einer Wohngegend mit hohen Immobilienpreisen wohnt, hat in den meisten Fällen mehr Geld. Über solche Muster kann der Algorithmus Daten über uns generieren, ohne dass wir davon Kenntnis haben. Das Ziel dahinter ist stets, die Menschen automatisch in bestimmte Schubladen einzuteilen, für die schon vorher festgelegt wurde, wie man mit ihnen weiterverfährt. Da man von all dem nichts mitbekommt, kann man sich leider auch nur schwer dagegen wehren.

Algorithmen treffen im Hintergrund Entscheidungen, die z.B. beeinflussen, ob wir einen Kredit bekommen oder zu einem Bewerbungsgespräch eingeladen werden.  (Foto: Imago, imago/Christian Ohde)
Algorithmen treffen im Hintergrund Entscheidungen, die z.B. beeinflussen, ob wir einen Kredit bekommen oder zu einem Bewerbungsgespräch eingeladen werden. Imago imago/Christian Ohde

Facebook filtert seine Mitglieder

Facebook sammelt umfangreiches Wissen über seine User. Besonders clever ist dabei das Konzept, dass fast jeder sehr private Dinge hier postet, weil er sie im privaten Umfeld mit Freunden teilen will: Wohnort, Schuldbildung, familiärer Hintergrund, Interessen, politische Meinungen, Freunde, Wer kennt wen, Fotos. Eine Flut an Daten, mit denen sich umfangreiche und sehr präzise Profile von jedem erstellen lassen. Facebook verwendet über 5000 Filter, um in seiner 2,5 Milliarden großen Mitgliedergemeinde ganz gezielt Menschen über Werbung anzusprechen.

Anzeigenkunden, die bei Facebook Werbung schalten lassen, können so sicher gehen, dass Ihre Werbung genau die Kunden erreicht, für die die Werbung gedacht ist.  Klingt auch hier wieder ganz praktisch, nur hat sich in der Vergangenheit gezeigt, dass dabei ganz gezielt Menschen ausgegrenzt wurden. Z.B. bei Jobanzeigen wurden gezielt älteren Menschen, Frauen, und Menschen aus bestimmten Wohngegenden vorenthalten. Erst durch umfangreiche Stichproben von Universitäten und Menschenrechtsvereinigungen, konnten diese Vermutungen bewiesen werden und Google hat nach mehreren Gerichtsverfahren (2017, 2018, 2019)  versprochen, gegenzusteuern. Solche Wunschprofile der Anzeigenkunden sind diskriminierend.

Auf den Servern von Facebook befinden sich private Daten von über 2,5 Milliarden Menschen, in denen das Unternehmen mit über 5000 Filtern gezielt Personen für die Werbeanzeigenschaltung auswählen kann.

Milliarden von Nutzerprofilen sind bei Facebook ein großes Kapital. Sie biten z.B. die Möglichkeit, nutzerspezifische Werbung zu schalten. (Foto: SWR, SWR)
Milliarden von Nutzerprofilen sind bei Facebook ein großes Kapital. Sie biten z.B. die Möglichkeit, nutzerspezifische Werbung zu schalten. SWR

Wenn Algorithmen diskriminieren

Problematisch daran ist auch, dass die Algorithmen selbstständig lernen. Amazon entwickelte beispielsweise eine Software, die im Netz selbstständig nach Lebensläufen von möglichen Mitarbeitern sucht, die gut ins Unternehmen passen könnten. Dazu wurde der Algorithmus an den Lebensläufen der real beschäftigten Mitarbeiter trainiert.

Weil dies vor allem Männer waren, bewertete der Algorithmus alles was auf einen weiblichen Bewerber hinwies, negativ. Ähnliche Programmstrukturen wurden bei Online-Job-Plattformen in den USA entdeckt, auf denen Freiberufler Ihre Lebensläufe einstellen können. Hier kam es zu Diskriminierung von Frauen, Alleinerziehenden, Schwarzen, Bewerbern mit geringem Wortschatz und Menschen aus bestimmten Wohngegenden.

Ohne ein aktives Eingreifen des Unternehmens in die Programmstrukturen des Algorithmus, ist hier der Diskriminierung Tür und Tor geöffnet. Im Falle von Amazon wurde deshalb die Weiterentwicklung der Software gestoppt.

Künstliche Intelligenz kann auch zur Diskriminierung verschiedener Personengruppen führen. (Foto: Imago, imago images / Westend61)
Künstliche Intelligenz kann auch zur Diskriminierung verschiedener Personengruppen führen. Imago imago images / Westend61

Schmoren in der Warteschleife

Künstliche Intelligenz wird auch in Call-Centern eingesetzt, um festzustellen, wie attraktiv ein Anrufer für das Unternehmen ist. Dazu wertet der Algorithmus innerhalb von Sekunden die Geschäftsdaten des Kunden aus. Also welchen Umsatz generiert der Kunde und welchen Aufwand hatte das Unternehmen bisher.

Anhand des Ergebnisses lassen sich allen Kunden bestimmte Prioritäten zuordnen. Wer in diesem Ranking nicht auf Priorität Eins eingestuft wird, muss dann unter Umständen länger in der Warteschlange schmoren. Besonders pikant daran ist, dass auch das Verhalten der Anrufer bewertet wird. Das heißt, wer freundlich und geduldig bleibt, erhält mehr Punkte, als Anrufer die verärgert sind. Künftig wird sogar dieser „Stimmungs-Scan“ von einem Programmcode übernommen werden können. Auch darüber, wer wie lange in der Warteschlange schmort, entscheidet oft eine künstliche Intelligenz.

Wie lange man in einer Hotline in der Warteschleife steckt, wird in vielen Fällen auch von Algorithmen beeinflusst.  (Foto: SWR, SWR)
Wie lange man in einer Hotline in der Warteschleife steckt, wird in vielen Fällen auch von Algorithmen beeinflusst. SWR

Links:

„Diskriminierungsrisiken durch Verwendung von Algorithmen“. Übersicht zu KI von Carsten Orwat von der Antidiskriminierungsstelle des Bundes

 „Künstliche Intelligenz und Menschenrechte“. Aufsatz von Felix Krauß vom Nürnberger Menschenrechtszentrum

 „Verbrauchergerechtes Scoring“. Gutachten des Sachverständigenrat für Verbraucherfragen.

STAND
AUTOR/IN