Big Data (Foto: SWR, Foto: Colourbox.de -)

SWR2 Wissen

Herrschaft der Algorithmen – Wer programmiert wen?

Stand
AUTOR/IN
Christine Werner
Christine Werner (Foto: SWR, Foto: Susanne Fern, Köln)

Was passiert, wenn ein Algorithmus eine falsche Entscheidung trifft? Wo können sich Verbraucher beschweren? Welche Kontrollmechanismen braucht die Gesellschaft?

Algorithmen berechnen die Wegbeschreibung im Navigationssystem, korrigieren die Rechtschreibung der SMS, bestimmen welche Ergebnisse die Suchmaschine anzeigt, empfehlen nach Online-Einkäufen neue Produkte, durchforsten medizinische Daten nach Biomarkern.

Algorithmen treffen aber auch immer mehr Entscheidungen in gesellschaftlichen und staatlichen Bereichen. Sie übernehmen Aufgaben von Sachbearbeitern, Steuerbeamten, Polizisten, Personalabteilungen. Sie bewerten Menschen.

Maschinelles Lernen

Für Diskussionen sorgen jetzt neue Algorithmen, die nicht einfach Anweisungen folgen, sondern die selbst lernen. Sie suchen in Daten nach Mustern und ziehen daraus ihre eigenen Schlüsse. Selbstlernenden Algorithmen werden auch als maschinelles Lernen oder künstliche Intelligenz bezeichnet.

Cawa Younosi ist Jurist und der oberste Personalmanager bei SAP Deutschland. Auf seinem Computerbildschirm zeigt er eine Grafik, in bunten Kreisen ploppen die Namen von Software-Anwendungen für das Personalmanagement auf. Tausende Bewerbungen aus der ganzen Welt landen täglich im Online-Karriereportal des Unternehmens, man steht im Wettbewerb um die besten Leute.

Ein großes Thema für Younosi ist da Chancengleichheit. Die sei essentiell für die Zukunftsfähigkeit. Und um Chancengleichheit sicherzustellen, helfen Algorithmen, davon ist er überzeugt.

Algorithmen für Chancengleichheit?

Stellenausschreibungen geschlechterneutral formulieren, verhindern, dass Gruppen im Bewerbungsprozess ausgeschlossen werden. Die Software ist noch in der Testphase, es gibt sie noch nicht auf dem Markt, aber in Artikeln preist SAP sie als „vorurteilsfrei“ an, sie soll die besseren Entscheidungen treffen.

Denn auch Menschen entscheiden nicht immer gerecht. Ein Sachbearbeiter auf einer Behörde kann einen schlechten Tag haben, es gibt Untersuchungen, wonach Richterinnen und Richter nach dem Mittagessen, mit einem erhöhten Blutzuckerspiegel, anders entscheiden als davor. Außerdem sind Menschen Gewohnheitstiere, der gleiche Studienort verbindet, auch wenn sich das nur in einem Bauchgefühl äußert. Diese Gefahr besteht bei einem Algorithmus nicht.

Doch liefern selbstlernende Algorithmen ein schiefes Ergebnis, ist das Stirnrunzeln selbst bei Informatikern groß. Denn auch im Rechenprozess kann es an jeder Weggabelung zu Fehlern kommen, die Schritte sind aber nicht mehr nachvollziehbar. Die Systeme kategorisieren Menschen und selbst ihre Entwickler können später nicht mehr sagen, wie und warum sie genau zu dieser Entscheidung gekommen sind.

Wer prüft Algorithmen?

Matthias Spielkamp ist Journalist, Mitbegründer und Geschäftsführer von Algorithm Watch. Die gemeinnützige Organisation begleitet die Einführung algorithmischer Entscheidungssysteme kritisch und beschäftigt sich mit Algorithmen-Ethik. In ihrem neuesten Projekt hat sie sich die Schufa vorgenommen.

Von der Schufa bekommen Händler und Banken sekundenschnell eine Einschätzung über die Bonität von Kunden. Nach eigenen Angaben ist die „Schutzgemeinschaft für allgemeine Kreditsicherung“ die größte Auskunftei Deutschlands - mit Daten von über 67,5 Millionen natürlichen Personen und 5,3 Millionen Unternehmen.

Die Schufa berechnet mit Algorithmen, wie wahrscheinlich ein Kunde einen Kredit zurückzahlt. Sie speichert dafür Informationen über das bisherige Zahlungsverhalten und erstellt daraus einen Score-Wert. Die Schufa speichert keine Daten zu Nationalität, Beruf, Einkommen, Familienstand oder Zusammensetzung des Wohnviertels.

Geheimhalten gerecht?

Wie genau der Score zustande kommt ist jedoch geheim. Das empört Matthias Spielkamp und Algorithm Watch. Denn Menschen könnten von der Teilhabe an der Gesellschaft ausgeschlossen werden, sagt Spielkamp. Und beschweren könne man sich nirgends richtig.

Wann wurden Rechte verletzt, wann eine Fehlentscheidung getroffen? Die Schufa argumentiert, dass nicht sie die Entscheidung über einen Kredit oder einen Mobilfunkvertrag trifft, sondern dass sie nur eine Entscheidungshilfe liefert.

Das Landeskriminalamt Baden-Württemberg in Stuttgart, Inspektion 430, Kriminalitäts-Analyse. Hier will man mithilfe von Algorithmen Wohnungseinbrüche verhindern. "Predictive Policing", vorausschauende Polizeiarbeit, werden diese mathematischen Modelle genannt. Für das Pilotprojekt in Baden-Württemberg ist Matthias Romberg zuständig.

Wiederholungstäter

Die Prognose soll die Beamten bei der Lageanalyse und -bewertung unterstützen. Die Beamten in Stuttgart wollen nicht warten, bis eine Einbruchs-Serie passiert. Sie wollen durch erhöhte Präsenz Folgetaten verhindern. Das Near-Repeat-Phänomen ist wissenschaftlich bewiesen.

Es beschreibt, dass es ein professioneller Täter nach einem erfolgreichen Einbruch sehr bald wieder in dieser Gegend versucht. Das Phänomen tritt vor allem in Städten auf und macht dort 40 bis 50 Prozent der Wohnungseinbrüche aus. Grundlage für die Berechnung ist, dass sich Serieneinbrüche von Einzeltaten unterscheiden lassen.

Im Programm laufen Echtdaten, in die lässt sich die Polizei nicht hineinschauen. Matthias Romberg hat deshalb Bildschirmausdrucke mit anonymisierten Fallbeispielen vorbereitet. Auf den Bildschirmausdrucken sind Gebiete mit schwacher Einbruchs-Belastung blau, solche mit hoher rot. Ein Gebiet mit Einbruchsserien, die Near-Repeat-Area, ist rot umrandet.

Dennoch keine Kausalität

Nach einem gemeldeten Einbruch werden die neuen Merkmale ins Programm eingegeben. Dann sucht auch hier ein Algorithmus nach Mustern in den Daten und errechnet die Wahrscheinlichkeit einer Folgetat. Kommt die Maschine zu der Entscheidung, dass dies der Anfang einer Einbruchsserie sein könnte, löst sie einen Alarm aus.

Der geht aber nicht automatisch nach draußen, sondern wird von einem Beamten überprüft und eingeschätzt. Doch wird der Alarm ausgelöst, hat das Konsequenzen für die Streifenpolizisten und das betroffene Gebiet.

Eine Kausalität ist jedoch kaum nachzuweisen. Denn wenn in dem stärker kontrollierten Gebiet kein Wohnungseinbruch passiert, kann das auch einfach daran liegen, dass sich das Programm getäuscht hat. Andererseits gibt es aber Befürchtungen, dass durch die Entscheidungen ganze Gebiete stigmatisiert werden könnten.

Stigmatisierung durch Algorithmen

In den USA werden algorithmische Systeme auch eingesetzt, um Risiko-Wahrscheinlichkeiten für Straßenkriminalität, Körperverletzungen oder Raub zu berechnen. Da haben die Entscheidungen von Algorithmen erhebliche gesellschaftliche Konsequenzen, denn bestimmte Gebiete werden stigmatisiert.

Bewerbungen bei SAP, Kreditvergabe, Mobilfunkvertrag, Polizeiarbeit, bei den meisten Prozessen entscheidet am Ende im Moment noch der Mensch. Das klingt gut. Aber auch in der Mensch-Maschine-Kommunikation kann es zu Fehlern kommen. Menschen können nicht über unendlich viele Dinge am Tag entscheiden, da gibt man gerne mal eine Entscheidung an die Maschine ab.

Und wie groß wird der Druck die Entscheidung der Maschine mitzutragen. Wenn der Algorithmus einen Bewerber aussortiert, wie stark macht sich ein Personalmanager dann tatsächlich für ihn? Welcher Verkäufer gibt dem Kunden vor ihm einen neuen Mobilfunkvertrag, wenn auf seinem Bildschirm aufploppt, dass von einem alten Vertrag noch Raten offen sind? Wie soll man das überprüfen? Wem vertrauen?

Produktion 2018

Sport KI im Fußball – Mit Algorithmen zum Sieg

Fußball ist ein Milliardengeschäft. Um die Gewinnchance zu steigern, werden alle Daten der Athleten gesammelt: Antrittsgeschwindigkeit, Passgenauigkeit, Schusswinkel, Atemfrequenz.

SWR2 Wissen SWR2

Künstliche Intelligenz KI im Journalismus – Algorithmen machen Nachrichten

Im schneller werdenden Nachrichtengeschäft unterstützen Algorithmen die Arbeit der Redakteure und suchen im Netz nach News, formulieren Texte. Kann die KI Journalisten völlig ersetzen?

SWR2 Wissen SWR2