In der Kategorie "Politik" wurden nominiert:

Profiling durch AMS-Algorithmus

• Algorithmen beeinflussen mittlerweile viele Lebensbereiche – doch sie können auch zu Diskriminierung führen und fehlerhaft sein. Was besonders kritisch ist, wenn der Betroffene nicht in der Lage ist zu verstehen welche Informationen in die Entscheidungsfindung einbezogen wurden oder welche Gründe zur Entscheidung geführt habe. Allzu oft sind wir zu technik hörig und nehmen Entscheidungen des System oder eines Computers kritiklos zur Kenntnis. Zumeist sind wir ja gar nicht in der Lage die Entscheidungen zu hinterfragen - und daher ist es nicht weiter verwunderlich, dass in vielen Algorithmen in Code gefasste Vorurteile zu finden sind. Die genaue Funktionsweise solcher automatisierten Entscheidungssysteme nachzuvollziehen, ist schwer – obwohl sie gravierende Auswirkungen auf das Leben der betroffenen Personen haben. Im Falle des AMS werden künftig mit dem Algorithmus Arbeitssuchende in die Kategorien A, B und C einteilen - mit weitreichenden Folgen was die weitere Betreuung und Arbeitsplatzsuche betrifft.
  
  Die DSGVO hat dem Profiling (Art. 4 Z 4), der automatischen Bewertung einer Person und ihres Verhaltens besondere Beachtung geschenkt, und im Gesetzwerdungsprozess wurde auf die Risiken in einigen Erwägungsgründen besonders eingegangen, um dann im Art. 22 der DSGVO Entscheidungen aufgrund von Profiling zunächst grundsätzlich zu verbieten. Die DSGVO sieht allerdings einige Ausnahmen vor. Der Betroffene kann vor allem die Überprüfung der automatisierten Entscheidung durch einen Menschen verlangen und hat ein besonderes Auskunftsrecht hinsichtlich der Logik der automatisierten Entscheidungsfindung.
  
  Art 4 Z 4 DSGVO: „Profiling“ jede Art der automatisierten Verarbeitung personenbezogener Daten, die darin besteht, dass diese personenbezogenen Daten verwendet werden, um bestimmte persönliche Aspekte, die sich auf eine natürliche Person beziehen, zu bewerten, insbesondere um Aspekte bezüglich Arbeitsleistung, wirtschaftliche Lage, Gesundheit, persönliche Vorlieben, Interessen, Zuverlässigkeit, Verhalten, Aufenthaltsort oder Ortswechsel dieser natürlichen Person zu analysieren oder vorherzusagen;
  
  Nach Angaben von AMS-Chef Kopf werden die Berater weiterhin die Letztentscheidung treffen, wie Kunden bezüglich ihrer Arbeitsmarktchancen dastehen und welche Qualifizierungen sie machen dürfen - doch wer traut sich schon einem Computer zu widersprechen, wenn der Computer zu 70 Prozent Recht hat.
  
  Hätten sich doch die 30% bei denen sich der Computer geirrt hat gemeldet, und so ist die Volksanwalt Günther Kräuter zurecht alarmiert: "Ich warne vor einer in der Dimension noch völlig unvorhersehbaren Gefährdung für sozial benachteiligte Gruppen in der Bevölkerung. Dass Frauen offenbar generell mit einer diskriminierenden Negativeinstufung zu rechnen haben, macht fassungslos."
  
  “Der Algorithmus des AMS berechnet aber auch mit denselben Variablen, jedoch mit anderer Gewichtung, die langfristigen Job-Perspektiven von Arbeitssuchenden und zeigt, wie die Integrationsperspektive für die kommenden zwei Jahre aussieht. Die Annahmen für dieses Modell hat das AMS nicht veröffentlicht.”
  
  Zumindest aus Sicht der DSGVO hat jeder einzelne, bei dem der AMS-Algorithmus zum Einsatz kommt das Recht aussagekräftige Informationen über die involvierte Logik sowie die Tragweite und die angestrebten Auswirkungen zu bekommen.
  
  
  
  
  
• Quellen:
  • [diepresse]: Wenn ein Algorithmus die Job-Chancen berechnet
    Der Algorithmus soll die Effizienz bei der Vermittlung erhöhen. Es habe sich gezeigt, dass teure Qualifizierungen wie die Facharbeiterintensivausbildung bei Menschen mit niedrigen Chancen nur in zwölf bis 15 Prozent zu einer Arbeitsaufnahme geführt hätten, sagt AMS-Chef Johannes Kopf.
  • [derstandard]: Volksanwaltschaft prüft AMS-Algorithmus
    Volksanwalt Günther Kräuter warnt vor "noch völlig unvorhersehbarer Gefährdung für sozial benachteiligte Gruppen"
    
  • [futurezone]: AMS gibt grünes Licht für Bewertung von Arbeitslosen durch Algorithmus
    Das System funktioniert Folgendermaßen: Das AMS zeigt seit November 2018 den Mitarbeitern per Computer die Arbeitsmarktchancen von ihren Kunden an, wenn diese bei ihnen vorstellig werden. Wer arbeitslos wird und sich beim AMS meldet, wird seither von einem Computerprogramm bewertet und eingeteilt. Im Segment A befinden sich Personen mit sehr guten Integrationschancen ohne Unterstützungsbedarf, im Segment B die Personen mit mittleren Integrationschancen, die „notwendige Unterstützung“ bekommen sollen, und im Segment C die Personen mit „geringen Integrationschancen“ in den Arbeitsmarkt.
  • [futurezone]:AMS-Sachbearbeiter erkennen nicht, wann ein Programm falsch liegt
    Ben Wagner, der am Privacy & Sustainable Computing Lab am Institute for Information Systems & Society an der WU Wien zu Algorithmen forscht, meint dazu im futurezone-Gespräch: „Es ist ein wahnsinniger Aufwand im AMS-Verwaltungsprozess sich über automatisierte Entscheidungen hinwegzusetzen. Ein Computersystem wird schnell zu einer neutral-objektiven Meinung. Das ist Standard bei derartigen Systemen und es findet relativ rasch eine Entsolidarisierung statt.“
  • [futurezone]: Wo Algorithmen bereits versagt haben
    Bürgerrechtler haben deshalb geklagt, weil die Software Bürger „unter Generalverdacht“ stelle und damit gegen die Europäische Menschenrechtskonvention verstoßen soll. Eine entsprechende Entscheidung zu dem Fall ist noch ausständig. Sie wird aber auf jeden Fall richtungsweisend sein, um festzustellen, wie weit derartige Systeme in Europa gehen dürfen.