Diskriminierende Algorithmen: Hasst mich der Algorithmus?

Immer wieder fall­en Algo­rith­men neg­a­tiv auf, weil sie sex­is­tis­che oder ras­sis­tis­che Entschei­dun­gen tre­f­fen. Was kann man tun, damit Gle­ich­berech­ti­gung auch in Com­put­ern ankommt? 

Wer „pro­fes­sionelle Frisuren“ googelte, bekam eine Zeit lang nur blonde Flecht­frisuren angezeigt. Als Ama­zon eine kün­stliche Intel­li­genz neue Mitar­beit­er aus­suchen lassen wollte, wählte die nur Män­ner aus. Und Forschende der Carnegie-Mel­lon-Uni­ver­sität in Pitts­burgh, USA, fan­den her­aus, dass Google Jobanzeigen für beson­ders gut bezahlte Jobs viel häu­figer den Nutzern auf ihren Bild­schir­men anzeigte, von denen Google durch ihr Nutzerver­hal­ten annahm, dass sie Män­ner waren.

Was ist da los? Men­schen diskri­m­inieren, ob bewusst oder unbe­wusst, das wis­sen wir, denn sie lassen sich von Gefühlen, Vorurteilen und per­sön­lichen Vor­lieben leit­en. Algo­rith­men aber, die wür­den doch vernün­ftig entschei­den, die wür­den die beste Lösung find­en und sich nicht durch Gefüh­le von den Fak­ten ablenken lassen. So lautete die große Hoff­nung, die man vor allem in selb­stler­nende Algo­rith­men set­zte. Eines Tages wür­den sie uns viele Entschei­dun­gen nicht nur abnehmen, sie wür­den auch bessere tre­f­fen. Dieser Traum ist aus­geträumt. Viele Beispiele wie die oben genan­nten haben uns eines Besseren belehrt: Auch Algo­rith­men kön­nen diskriminieren.

Wie Algorithmen diskriminierende Muster aufnehmen

Die meis­ten Algo­rith­men in unserem All­t­ag sind hil­fre­ich und harm­los. Der Algo­rith­mus eines Nav­i­ga­tion­ssys­tems etwa berech­net ein­fach den kürzesten Weg von A nach B. „Eigentlich ist es nur ein ganz klein­er Teil, vor dem wir Respekt haben soll­ten“, sagt Katha­ri­na Zweig, Infor­matik-Pro­fes­sorin an der TU Kaiser­slautern und Autorin des ger­ade erschienen Buch­es „Ein Algo­rith­mus hat kein Tak­t­ge­fühl“. Dieser kleine Teil, den sie meint, sind „algo­rith­mis­che Entschei­dungssys­teme, die aus Dat­en aus der Ver­gan­gen­heit etwas darüber ler­nen, wie Men­schen sich ver­hal­ten haben, und daraufhin Entschei­dun­gen über sie treffen.“

Diese Entschei­dungssys­teme kön­nen diskri­m­inierend sein, weil das Lern­ma­te­r­i­al, das sie von Men­schen bekom­men, es ist. Die Sys­teme ler­nen im Grunde wie Kinder: Sie bekom­men Bilder, Texte oder Videos, die sie sich genau anschauen und darin nach Mustern suchen, an denen sie ihre Entschei­dun­gen zukün­ftig aus­richt­en kön­nen. Dabei ent­deck­en sie nur lei­der auch sex­is­tis­che und ras­sis­tis­che Muster. Berühmt wurde der Fall des Chat­bots „Tay“ von Microsoft, der 2016 als Twit­ter-Account online ging und schon nach weni­gen Stun­den wieder abgeschal­tet wer­den musste, weil Twit­ter-Nutzer ihm ras­sis­tis­che und sex­is­tis­che Beschimp­fun­gen beige­bracht hat­ten, die „Tay“ nun massen­haft von sich gab. Auch die KI, die für Ama­zon Mitar­beit­er find­en sollte, hat­te ein­fach gel­ernt, dass Män­ner geeignet seien, weil ihr Lern­ma­te­r­i­al fast nur aus Bewer­bun­gen von Män­nern bestand.

Was also tun? Die Antwort ist nicht ein­fach, denn für Men­schen ist nicht ein­se­hbar, wie der Algo­rith­mus zu seinen Entschei­dun­gen kommt. Sie wis­sen nur, welch­es Lern­ma­te­r­i­al hinein gegeben wurde und zu welchen Entschei­dun­gen das Sys­tem am Ende kommt. Deshalb beze­ich­nen Forschende den Entschei­dungs­find­ung­sprozess dazwis­chen auch als „Black Box“.

Man kann sich also nur die Entschei­dun­gen anschauen und darin nach Erk­lärun­gen suchen: Wie kommt das Sys­tem wohl zu dieser Entschei­dung? Auf die Art kam man dahin­ter, warum ein selb­stler­nen­der Algo­rith­mus afroamerikanis­che Bewer­ber für eine Stelle auss­chloss, obwohl man sowohl Fotos als auch jede Infor­ma­tion über die Haut­farbe extra aus­ge­lassen hat­te. Der Algo­rith­mus fand offen­bar andere Muster, die mit der Haut­farbe kor­re­lierten. Er hat­te gel­ernt, dass ein weit­er Weg zur Arbeit ungün­stig war und schloss Bewer­ber aus, die weit weg wohn­ten. Viele afroamerikanis­che Bewer­ber lebten in den oft stark seg­regierten Städten der USA aber in eben jenen Außenbezirken.

Die Lösung ist also lei­der nicht so ein­fach, dass man dem Sys­tem sagen kön­nte: Ignori­er das Geschlecht oder die Haut­farbe! Denn das Sys­tem wird möglicher­weise andere Muster find­en, andere Lin­ien, anhand der­er sich die Diskri­m­inierung zeigt, die es dann mitlernt. Auch die besagte Ama­zon-KI diskri­m­inierte Frauen auch dann noch, als man das Geschlecht gezielt aus den Bewer­bun­gen ent­fer­nte, weil sie dann anhand ander­er Dinge die Frauen aus­machen kon­nte, etwa der Mit­glied­schaft in Frauenvereinen.

Mit diversen Teams gegen Diskriminierung

Trotz­dem arbeit­en weltweit Men­schen an Lösun­gen. Es gibt dabei grund­sät­zlich drei Wege, die wahrschein­lich alle gle­ichzeit­ig beschrit­ten wer­den soll­ten. Der erste ist der Weg hinein in den Algo­rith­mus. Um Algo­rith­men mit möglichst vielfältigem und fair aus­gerichtetem Mate­r­i­al zu trainieren, sind diverse Entwick­lerteams zwar noch keine Garantie, aber die best­mögliche Maß­nahme. Denn jed­er und jede hat – wenn auch unge­wollt – so etwas wie blinde Fleck­en und die beste Möglichkeit, hier Licht ins Dunkel zu brin­gen, sind Men­schen, die sich in ihren Per­spek­tiv­en gegen­seit­ig ergänzen.

Man kann Algo­rith­men natür­lich auch gezielt mit etwa fem­i­nis­tis­chem Mate­r­i­al trainieren. Das macht derzeit die Kün­st­lerin Car­o­line Sin­ders. Sie entwick­elt eine Soft­ware, die auss­chließlich mit einem fem­i­nis­tis­chen Daten­satz lernt, über 100 Texte sind derzeit drin, von queeren Gedicht­en über die Lyrics von Bey­on­cés „Lemon­ade“ bis zu einem Sci­ence-Fic­tion-Roman von Octavia But­ler. Konkrete Anwen­dungsmöglichkeit­en gibt es noch nicht, Sin­ders möchte erst ein­mal die „Möglichkeit­en fem­i­nis­tis­ch­er Intel­li­genz aus­loten“, sagte sie Zeit Online in einem Inter­view. Somit ist es zunächst nur ein Kun­st­pro­jekt, die aber auch wichtige Impulse set­zen können.

Plädoyer für Transparenz

Der zweite Weg ist Trans­parenz. Auch wenn man nicht weiß, wie das Sys­tem zu seinen Entschei­dun­gen kommt, weiß man aber sehr wohl, welche Auf­gaben und welch­es Lern­ma­te­r­i­al man ihm gegeben hat. Viele Experten für kün­stliche Intel­li­genz, etwa die Organ­i­sa­tion „Open AI“, plädieren dafür, solche Dinge trans­par­enter zu machen. Die Aktivistin Car­o­line Sin­ders etwa spricht von ein­er Art Beipackzettel zu jed­er Soft­ware, auf dem, wie in ein­er Zutaten­liste auf ein­er Chip­stüte, drauf­ste­ht, was drin­steckt, zum Beispiel: „Dat­en von Face­book-Nutzern, 2016 bis 2019, USA, 60 Prozent männlich, 80 Prozent weiß, 15 bis 40 Jahre“. Wer das weiß, so das Argu­ment, ist weniger geneigt, die Entschei­dun­gen, die ein solch­es Sys­tem trifft, für all­ge­mein gültig zu halten.

Gegen solche Forderun­gen wehren sich Tech-Unternehmen oft mit dem Argu­ment, dass ihr Algo­rith­mus eben ein Betrieb­s­ge­heim­nis sei. Aber die amerikanis­chen Rechtswis­senschaftler Ellen P. Good­man und Robert Brauneis argu­men­tieren in einem Auf­satz von 2017, dass man ja nicht den ganzen Algo­rith­mus offen­le­gen müsste, son­dern nur bes­timmte Punk­te. Sie haben acht Punk­te definiert, die unbe­d­ingt an die Öffentlichkeit soll­ten, etwa: Welch­es Prob­lem soll der Algo­rith­mus lösen? Mit welchem Mate­r­i­al wurde er trainiert? Welch­es wurde wegge­lassen und warum?

Pflichten für die Technik

Der dritte Weg schließlich ist der, den Out­put genau zu beobacht­en und, wenn er diskri­m­inierend ist, auch zu sank­tion­ieren. Egal, ob gewollt oder nicht, wenn die Ergeb­nisse, die der Algo­rith­mus, den ich in die Welt set­ze, Men­schen benachteiligt, dann sollte das Kon­se­quen­zen haben. Nur so, glauben Experten und Aktivis­ten wie der dänis­che Tech-Jour­nal­ist Hen­rik Chu­lu, hät­ten Unternehmen Anreize, nicht ein­fach irgendwelche Algo­rith­men in die Welt zu set­zen und dann mal zu schauen, was passiert. Das Europäis­che Par­la­ment hat sich schon vor zwei Jahren für ein Robot­er-Recht aus­ge­sprochen, das auch der Tech­nik Pflicht­en aufer­legen würde. Und Organ­i­sa­tio­nen wie die von Katha­ri­na Zweig mit­ge­grün­dete „Algo­rithm Watch“ machen es sich zur Auf­gabe, die Funk­tion­sweisen und gesellschaftlichen Fol­gen von Algo­rith­men in den Blick zu nehmen. Ihre Arbeit ist wichtig, denn Tech­nik ist nie neu­tral, sie ist schließlich von Men­schen gemacht. Und nir­gend­wo zeigt sich das so stark wie bei selb­stler­nen­den Systemen.