Schufa einfach abgelehnt? War das eine automatisierte Entscheidung?

Stand:
Immer häufiger werden Entscheidungen nicht mehr von Menschen, sondern von Algorithmen getroffen. Damit sparen sich Unternehmen Zeit und Kosten. Leider treffen aber auch Maschinen Fehlentscheidungen. Lesen Sie hier mehr.
Visualisierung einer automatisierten Entscheidung am Computer

Das Wichtigste in Kürze:

  • Bei der automatisierten Entscheidungsfindung werden Entscheidungen getroffen, ohne dass ein Mensch involviert ist.
  • Automatisierte Entscheidungen haben schon heute Einfluss auf Ihren Alltag, beispielsweise bei der Routenberechnung im Navigationssystem oder bei der Bewertung durch die Schufa.
  • Leider werden vermehrt auch Entscheidungen getroffen, die für Menschen nicht nachvollziehbar sind.
  • Fehlerhafte Entscheidungen können Sie bei unding.de (ein Projekt von AlgorithmWatch), dem Kooperationspartner des Verbraucherzentrale Bundesverbandes (vzbv), melden.
On

Der LKW brettert nicht über die Bundesstraße – sondern durch Ihr Wohngebiet, und Ihr Schufa-Score ist negativ, obwohl Sie noch nie in Zahlungsverzug geraten sind. Bei der Bewerbung müssen Sie einen Eignungstest machen und erhalten dann innerhalb von wenigen Minuten eine Absage. All das könnte auf automatisierte Entscheidungen zurückzuführen sein. Immer dürfen Unternehmen aber nicht auf automatisierte Prozesse zurückgreifen. Was genau automatisierte Entscheidungen sind und welche Rechte Sie haben, erfahren Sie hier.

 

Was sind automatisierte Entscheidungen?

Bei der automatisierten Entscheidungsfindung – auch Automated Decision-Making oder ADM – bewerten Computer einen Datensatz. Das heißt: Ein Algorithmus verarbeitet die Daten nach einer programmierten Logik und kommt zu einem Ergebnis. Allerdings gibt es Unterschiede zwischen automatisierten Entscheidungen, die durch deterministische Algorithmen, also im Vorfeld festgelegte Rechenschritte, oder durch maschinelles Lernen (ML) getroffen werden.

Bei der Entscheidungsfindung durch deterministische Algorithmen

  • definiert ein Mensch zuvor jeden automatisierten Lösungsschritt.
  • nutzt der Algorithmus die definierten Kriterien, um einen neuen Datensatz zu bewerten.
  • ist das Ergebnis immer vorhersehbar und nachprüfbar.

Der Algorithmus führt hier also einfach nur ein durch einen Menschen festgelegtes Muster immer wieder aus.

 

Bei der Entscheidungsfindung durch maschinelles Lernen

  • findet ein Algorithmus Kriterien für eine Problemlösung, ohne dass ein Mensch alle Regeln einprogrammiert hat.
  • macht der Algorithmus Vorhersagen anhand der eigenständig gefundenen Regeln.
  • kann das Ergebnis nachträglich nicht oder nur eingeschränkt überprüft werden – je nach Art des maschinellen Lernens.

Der Algorithmus sucht in diesem Fall selbst nach Mustern. Allerdings müssen auch in diesem Fall einige Grundregeln von Menschen einprogrammiert werden.

Automatisierte Entscheidungsfindung im Alltag

Heute finden Sie an vielen Stellen im Alltag bereits automatisierte Entscheidungen. Einige Beispiele sind:

  • Eine automatisch berechnete Route in Ihrem Navigationssystem
    Der Algorithmus berechnet für Sie die schnellste Route. Wenn Sie sich verfahren, wird der Weg sofort neuberechnet. Auch Staus lassen sich so teils umgehen. Teilweise werden Autos dann aber auch über Straßen geleitet, die eigentlich nicht dafür vorgesehen waren – beispielsweise durch beruhigte Verkehrszonen.
  • Der Schufa-Score
    Der Schufa-Score wird mittlerweile auch maschinell erstellt. Die über Sie bekannten Daten werden von einem Algorithmus ausgelesen und verarbeitet. Das Ergebnis erhalten Sie umgehend.
  • Einstellungstests, die vorprogrammierte Kriterien nutzen, um Kandidat:innen zu bewerten
    Manche Firmen setzen bereits auf Einstellungstest, die online abgewickelt werden. Aufgrund von Rechtsprechungen dürfen Algorithmen keine Bewerber:innen ausschließen. Allerdings können Computer einen Bewerber-Score vergeben, der dann den Firmen angezeigt wird.
  • Personalisierte Werbeanzeigen im Internet
    Auch bei Werbeanzeigen kommen automatisierte Entscheidungen zum Einsatz. Deshalb wird Ihnen nicht die gleiche Werbung angezeigt wie Ihrem Nachbarn. Anhand Ihres Surfverhaltens entscheidet der Algorithmus, welche Werbung Sie am ehesten interessieren könnte.

 

Podcast: Das Wichtigste zum Nachhören

Im Interview mit Anna Lena Schiller von AlgorithmWatch erfahren Sie mehr über automatisierte Entscheidungen und was Sie tun können, wenn Ihnen eine automatisierte Fehlentscheidung auffällt:

 

Vor- und Nachteile von automatisierten Entscheidungen

Automatisierte Entscheidungen können Prozesse beschleunigen, haben aber auch ihre Tücken. Einige der Vor- und Nachteile der ADM sind:

Vorteile – Deshalb sind automatisierte Entscheidungen hilfreich

  • Automatisierte Entscheidungen können sehr schnell getroffen werden.
  • Die Maschinen treffen immer die gleiche Entscheidung, lassen sich also nicht von Sympathie oder Bestechung beeinflussen.
  • Bei sehr großen Datensätzen können Algorithmen gut dafür verwendet werden, eine Vorentscheidung zu treffen.

Nachteile – Das kann bei automatisierten Entscheidungen schieflaufen

  • Viele Menschen wissen nicht, dass sie von automatisierten Entscheidungen betroffen sein könnten. Unternehmen erteilen in der Regel nur auf Anfrage Auskunft darüber, wie Kundendaten verarbeitet werden. Sie haben aber immer ein Auskunftsrecht.
  • Nur wenige verstehen, wie automatisierte Entscheidungen zustande kommen.
  • Maschinen können Menschen benachteiligen: Der Algorithmus kann beispielsweise Fehlentscheidungen treffen, weil menschliche Fehler einprogrammiert wurden. Das ist beispielsweise bei einer Altersgrenze der Fall. Wenn der Algorithmus aus vorhandenen „schlechten“ Daten lernt, kann auch das zu Fehlentscheidungen führen. Das wäre beispielsweise der Fall, wenn nur Männer für Führungspositionen angezeigt werden.

 

Navigationsprobleme und falsche Schufa-Scores: automatisierte Fehlentscheidungen melden

Haben Sie sich schon einmal darüber geärgert, dass Navigationssysteme den Verkehr durch Ihr Wohngebiet umleiten, oder Sie einen Schufa-Score bekommen, den Sie sich nicht erklären konnten? Der Verbraucherzentrale Bundesverband (vzbv) und unding.de (ein Projekt von AlgorithmWatch) helfen Ihnen dabei, Ihren Fall bei dem jeweiligen Unternehmen zu melden.

 

Automatisierte Entscheidungsfindung – Häufige Fragen und Antworten

Was ist eine automatisierte Einzelentscheidung?

Eine automatisierte Einzelentscheidung liegt dann vor, wenn eine personenbezogene Entscheidung komplett von einer Maschine getroffen wurde oder wenn ein Mensch die automatisierte Vorentscheidung nur pro forma prüft, also faktisch keine Einflussmöglichkeit hat.

Wann sind automatisierte Entscheidungen verboten?

Die Datenschutz-Grundverordnung (DSGVO) verbietet in Artikel 22 bestimmte personenbezogene automatisierte Entscheidungen, die der betroffenen Person gegenüber rechtliche Wirkung entfalten oder sie in ähnlicher Weise erheblich beeinträchtigen.

Was genau unter einer erheblichen Beeinträchtigung zu verstehen ist, ist umstritten. Denkbar wären zum Beispiel die Ablehnung eines Online-Kreditantrags oder die Änderung von bestimmten Vertragsbedingungen.

Es gibt aber weitreichende Ausnahmen von diesem Verbot: So sind automatisierte Entscheidungen beispielsweise erlaubt, wenn sie für den Abschluss oder die Erfüllung eines Vertrags erforderlich sind oder die betroffene Person einwilligt. Betroffene können aber verlangen, dass sie ihren Standpunkt darlegen können und ein Mensch die Entscheidung überprüft.

Das kann beispielsweise bei folgenden Situationen der Fall sein:

  • Ihnen wird ein Vertrag gekündigt.
  • Ihr Online-Kreditkartenantrag wird abgelehnt.
  • Sie erhalten eine Absage für eine Bewerbung innerhalb eines Online-Recruiting-Prozesses.
Wie erfahre ich, dass mich eine automatisierte Entscheidung betrifft?

Wenn ein Unternehmen Daten über Sie erhebt, muss es Sie darüber informieren, dass auf Grundlage der Daten eine personenbezogene automatisierte Entscheidung getroffen wird und welche Auswirkungen dies für Sie hat (Artikel 13 DSGVO). Außerdem muss das Unternehmen erläutern, nach welcher Logik der Algorithmus die Entscheidung trifft. Wie weit dieses Informationsrecht reicht, ist allerdings unklar.

Welche Rechte habe ich, wenn eine automatisierte Entscheidung falsch ist?

Sie können verlangen, dass die Entscheidung von einem Menschen geprüft wird und Sie haben das Recht, Ihren Standpunkt darzulegen (Artikel 22 DSGVO). Im Zweifel können Sie die Entscheidung auch anfechten, das heißt dass eine inhaltliche Neubewertung erfolgt.

Wie entscheiden die Algorithmen bei der automatisierten Entscheidungsfindung?

Wie genau die Algorithmen entscheiden, hängt von der Programmierung ab. In der Regel geht ein Algorithmus immer wieder das gleiche Schema durch, um einen neuen Datensatz zu bewerten. Sie können sich das vorstellen wie einen Entscheidungsbaum mit vielen „Ja oder Nein“-Fragen, die nach und nach beantwortet werden und dann schlussendlich zu einer Entscheidung führen.

Anders ist es bei maschinellem Lernen, bei dem der Algorithmus innerhalb eines vorgegebenen Rahmens autonom Lösungsschritte entwickelt, beispielsweise die Gewichtung von Kriterien.