Studie: Algorithmen und Diskriminierung

Algorithmen bergen das Potenzial, Menschen aufgrund bestimmter persönlicher Merkmale zu benachteiligen. Zu diesem Ergebnis kommt Carsten Orwat, Wissenschaftler am ITAS, in einer aktuellen Studie für die Antidiskriminierungsstelle des Bundes.
Quelle: Nomos Verlag
Quelle: Nomos Verlag

Ob bei der Kreditvergabe, der Auswahl künftigen Personals oder bei vorausschauender Polizeiarbeit – dank umfassender Datensätze können Algorithmen in immer mehr Bereichen Entscheidungen mit teils sehr starken Auswirkungen vorbereiten oder ausführen. Wie groß ist bei solchen Entscheidungen das Risiko von Diskriminierung einzustufen und wie kann dieses Risiko minimiert werden?

Dazu veröffentlichte das ITAS mit finanzieller Unterstützung der Antidiskriminierungsstelle des Bundes Mitte September die Studie „Diskriminierungsrisiken durch Verwendung von Algorithmen“. Algorithmen, so Autor Carsten Orwat, müssten für viele der genannten Felder Personengruppen unterscheiden. Dies sei aber problematisch, insbesondere wenn die Unterscheidung nach Merkmalen wie Alter, Behinderung, ethnischer Herkunft, Geschlecht oder anderen gesetzlich geschützten Merkmalen gebunden ist.

Anhand von Beispielen zeigt die Studie, dass diese Risiken durchaus real sind. So gebe es etwa die Gefahr der Ungleichbehandlung, wenn Algorithmen potenzielle Arbeitnehmende nach ihrem Geschlecht differenzieren oder wenn sie Kreditsuchende aufgrund ihrer ethnischen Herkunft ablehnen.

Empfehlungen zur Regulierung

Auch Möglichkeiten, diese Risiken zu minimieren, werden in der Studie genannt. So empfiehlt die Studie, präventive Angebote zu schaffen, wie beispielsweise die Beratung von Personal- bzw. IT-Verantwortlichen. Des Weiteren empfiehlt Carsten Orwat Reformen und Klarstellungen im Antidiskriminierungs- und Datenschutzrecht oder Zugriffsmöglichkeiten zu Dokumentationen für Antidiskriminierungsstellen, um die Rechte Betroffener besser zu schützen. (27.09.2019)

Weiterführende Links und Dokumente: