Monatlich mehr als 350.000 unnötige Personenkontrollen durch Fehlalarme

RWI – Leibniz-Institut für Wirtschaftsforschung21.11.2018Medien, Politik

Die Unstatistik des Monats Oktober ist die Pressemitteilung des Innenministeriums über das „erfolgreiche“ Projekt zur automatischen Gesichtserkennung mit einer Trefferrate von über 80% und Falsch-Alarm-Rate von unter 0,1%

Das Bundesministerium des Innern, für Bau und Heimat führte im Rahmen des gemeinsamen Pilotprojektes “Sicherheitsbahnhof Berlin Südkreuz” gemeinsam mit der Bundespolizei und der Deutsche Bahn AG einen Test von drei Gesichtserkennungssystemen am Bahnhof Südkreuz in Berlin durch. Das Bundeskriminalamt beriet hierbei. Bundesinnenminister Horst Seehofer war begeistert: „Die Systeme haben sich in beeindruckender Weise bewährt, so dass eine breite Einführung möglich ist“. tagesschau.de wiederholte am 11. Oktober kritiklos zwei Zahlen, die den Erfolg des Projekts belegen sollten: Erstens, eine Trefferrate 80%, das heißt, von je 10 Gesuchten (Testpersonen) wurden 8 richtig erkannt und 2 nicht. Zweitens, eine Falsch-Alarm-Rate von 0,1%, das heißt, von je 1.000 Normalbürgern (die nicht als Testpersonen teilnahmen) wurden 999 als unverdächtig und einer fälschlicherweise als gesuchte Person klassifiziert.

Das klingt doch gut! Also so schnell wie möglich auf allen Bahnhöfen Kameras mit Gesichtserkennung installieren, um uns vor den rund 600 als gefährlich eingestuften Islamisten und anderen gesuchten Personen zu schützen. Oder gleich wie in China die totale Überwachung aller Bürger auf allen Straßen, öffentlichen Plätzen und Gebäuden einführen?

Als Treffer zählte schon, wenn eines der drei Systeme anschlug

Ein genauer Blick in den Abschlussbericht zeichnet ein anderes Bild. Keines der drei getesteten Systeme hat eine Trefferquote von 80% über beide Testphasen hinweg erreicht; die 80% sind auch nicht der Durchschnitt der drei Systeme. Diese Zahl bekam man nur nachträglich, indem man die Treffer aller drei Systeme addierte (d.h., wenn mindestens eines der Systeme einen Treffer hatte, galt das als Treffer). Die Bilder der „Gesuchten“, die den Systemen zur Verfügung standen, waren anders als Fahndungsfotos so gut wie perfekt: in der ersten Testphase mit 312 Freiwilligen wurden diese mit hochauflösenden Kameras aufgenommen, in der zweiten Phase, an der nur noch 201 Testpersonen weitermachten, wurden dann sogar die von den Überwachungskameras in der ersten Phase aufgenommenen Bilder verwendet, das heißt, am gleichen Ort, wo getestet wurde – damit bekam man bessere Werte als man sie in Realität (in der man keine erste Testphase hat) je erreichen könnte. Die Zahlen beruhen auch nicht auf allen erhobenen Daten, sondern nur auf einer kleinen Auswahl, wobei nicht angegeben wurde, wie diese ausgesucht wurden. All das macht eine Bewertung unklar.

Der eigentlich interessante Punkt ist aber: Das Problem bei Massenüberwachungssystemen sind Fehlalarme, das heisst, Normalbürger, die vom Gesichtserkennungssystem für Gesuchte gehalten werden. Eine Person betritt einen Bahnhof und wird vom System als „Verdächtiger“ gemeldet. Was ist die Wahrscheinlichkeit, dass sie tatsächlich der Verdächtige ist? Eben nicht 80%. Und auch nicht 0,1%.

Eine Überschlagsrechnung kann diese Frage beantworten. Die Deutsche Bahn berichtet, dass rund 11,9 Millionen Menschen täglich mit der Bahn reisen. Der Abschlussbericht der Studie gibt an, es gäbe derzeit etwa 600 Verdächtige, die als islamistische Gefährder eingestuft werden, welche das System erkennen sollte. Um die Rechnung einfach zu machen, nehmen wir an, dass sich davon täglich 100 an Bahnhöfen aufhalten (etwa der gleiche Anteil wie bei der Normalbevölkerung).

Von den 100 Verdächtigen erwarten wir, dass etwa 80 (80%) erkannt werden, und von den rund 11,9 Millionen anderen Menschen werden täglich nochmals etwa 11.900 (0,1%) fälschlicherweise als gesuchte Person eingestuft. Das heißt, die Wahrscheinlichkeit, dass jemand eine gesuchte Person ist wenn die Kamera Alarm schlägt, ist etwa 80/11.980, also rund 7 in 1.000, oder 0,7%. In anderen Worten, etwa 99,3% der Einschätzungen des Systems sind falsch.

Monatlich mehr als 350.000 unnötige Personenkontrollen durch Fehlalarme

Jedem Alarm solle ein Einsatz der Polizei zur Abklärung folgen. Da eine flächendeckende Überwachung an Bahnhöfen jedoch 11.900 falsche Alarme pro Tag erwarten ließe, müssten jeden Monat über 350.000 Personen unnötigerweise kontrolliert werden. Das wäre nicht nur enorm aufwändig und teuer, unsere Bahnhöfe würden auch bald wie die Kontrollen an Flughäfen aussehen. Falls statt 600 nach doppelt so vielen Personen gefahndet wird, ändert sich das Ergebnis nur gering: etwa 98,7% der Einschätzungen des Systems sind falsch.

Es gibt noch eine dritte irreführende Zahl im Bericht und der Pressemitteilung: Es wird uns gesagt, dass sich die Falsch-Alarm-Rate durch Zusammenführung aller drei Systeme auf „bis zu 0,00018%“ reduzieren lässt. Was uns nicht gesagt wird, ist, dass dadurch die Trefferrate deutlich reduziert würde. Der ängstliche Bürger merkt’s ja nicht.

Diese Unstatistik zeigt, wie ein bisschen statistisches Denken Politikern, Ministerialen, Journalisten und Bürgern helfen könnte, sich nicht durch verdrehte Zahlen beeindrucken zu lassen. Dass das Gesichtserkennungssystem 99,3% der Verdächtigten zu Unrecht verdächtigt, ist mit der Regel von Bayes (ein Satz aus der Wahrscheinlichkeitsrechnung) berechnet, die in Bayern inzwischen jeder Schüler der 11. Klasse lernt. Im Bericht und der Pressemitteilung ist sie nicht zu finden.

Wohin der Schutz des Bürgers durch den Staat führen kann, zeigen die über 300 Millionen Überwachungskameras mit Gesichtserkennungssoftware in China.

KOMMENTARE

MEIST KOMMENTIERT

Der Erfolg der AfD liegt in der Austauschbarkeit der Altparteien

30 Jahre nach der Friedlichen Revolution wurde in Thüringen gewählt. Zum dritten Mal in diesem Jahr kann die AFD zum Entsetzen von Medien und Politik einen Wahlerfolg in „Dunkeldeutschland“ (Gauck) feiern. Die linke Mehrheit ist gebrochen, die SPD liegt bei 8,2 %, die AfD macht als zweite Kraf

Nächstenliebe geht anders!

Nächstenliebe geht anders! Alle EU-Abgeordneten von CDU/CSU haben gegen eine Resolution zur Beendigung des Sterbens im Mittelmeer gestimmt. Mit Rechtspopulisten und -extremen haben sie diesen Aufruf zur Menschenrettung mit einer neuen europäischen Seenotrettung und für die Entkriminalisierung der

Der Seelendoktor und ambivalente politische Revoluzzer

Theodor Fontane (* 30. Dezember 1819 in Neuruppin; † 20. September 1898 in Berlin) war einer der großen deutschen Landschaftspoeten. Er ist aber auch der Anwalt der Frauen gewesen, die Emanzipation verdankt dem Neuruppiner Apotheker viel. Aber wie dachte er politisch und was ist von seiner Ambiva

Die schleichende Rückkehr des Unrechtsstaats

Das Bundesamt für Verfassungsschutz hat eine Hotline zum anonymen Melden rechtsextremer Umtriebe eingerichtet. Unterdessen suggeriert der Stadtrat von Dresden in einer Erklärung unter der Überschrift „Nazinotstand?“, die sächsische Landeshauptstadt versinke im rechtsextremen Chaos. Die obses

Triumph für Matteo Salvini

Eben noch ging ein Seufzer der Erleichterung durch Europa: Der italienische Patient war endlich auf dem Weg der Besserung. Lega-Chef und Innenminister Salvini manövrierte sich mit seinem gescheiterten Neuwahl-Coup ins Aus. Und das Regierungsbündnis aus 5-Sterne-Bewegung und linker Demokratischer P

Auf welchen Politikertypus stehen die Deutschen?

Auf welchen Politikertypus stehen die Deutschen? Kuschelbär (Robert Habeck) oder John Wayne (Friedrich Merz)? Ich vermute Kuschelbär.

Mobile Sliding Menu