Der gute BĂŒrger

von Aleksandra Sowa20.10.2018Außenpolitik, Gesellschaft & Kultur, Wirtschaft

Zuerst „Honest Shanghai“, dann das Social Credit System, das spĂ€testens 2020 in ganz China eingefĂŒhrt werden sollte. Die Empörung der westlichen Demokratien ĂŒber die digitale Ausweitung des Überwachungsstaates ist groß, doch: Können sie sich der globalen Wirkung des Bewertungssystems wirklich entziehen? Und sind solche Systeme in den westlichen Demokratien nicht schon lĂ€ngst gelebte Praxis?

_„Die Wirtschaft der Zukunft funktioniert ein bisschen anders. Sehen Sie, im 24. Jahrhundert gibt es kein Geld. (…) Der Erwerb von Reichtum ist nicht mehr die treibende Kraft in unserem Leben. Wir arbeiten, um uns selbst zu verbessern – und den Rest der Menschheit.“
(Captain Jean-Luc Picard in „Der erste Kontakt“)_

Ob Equifax oder Schufa – die UrsprĂŒnge des herkömmlichen Kreditscorings reichen weit in das 19. Jahrhundert zurĂŒck. Technologie half dabei, Scoring in riesige Überwachungssysteme zu verwandeln. Wie sehr sich die westliche MentalitĂ€t von der chinesischen unterscheidet, schrieb der Science-Fiction-Autor Rafal Kosik unter dem Titel „Oceniaj mnie” in seiner Kolumne in Nowa Fantastyka; der Text zeigt die generell positive Einstellung der Chinesen gegenĂŒber dem Social Credit System (SCS). Das System soll im Jahr 2020 China-weit eingefĂŒhrt werden. Bereits seit 2014 gibt es zahlreiche Pilotversuche, darunter auch „erfolgreiche Vorzeigeprojekte“, berichtete “Axel Dorloff im DLF”:https://www.deutschlandfunk.de/sozialkredit-system-china-auf-dem-weg-in-die-it-diktatur.724.de.html?dram:article_id=421115. Über die Kriterien, nach denen Punkte verteilt (oder abgezogen) werden, soll die Regierung entscheiden. Das System soll kĂŒnftig der Grundpfeiler fĂŒr die moralische Ordnung chinesischer Gesellschaft dienen. Es soll also kaum möglich sein, einen Studienplatz, Arbeit, Beförderung, ja einen Bibliothekausweis oder ein Zugticket zu bekommen, ohne einen angemessenen Punktestand vorweisen zu können.

Widerstand? Zwecklos.

Die Empörung in dem sich selbst als westliche Demokratien bezeichnenden Teil der Welt ist groß: Das System soll einen glĂ€sernen BĂŒrger herbeischwören; es sei eine digitale Weiterentwicklung des Spitzel- und Überwachungsstaates, eine neue Form der Sozialkontrolle, die mit Belohnung, aber auch Bestrafung durchgesetzt wird. Eine Mischung aus Orwell und Samjatin demnach. Doch: Wird die negative Einstellung der BĂŒrgerinnen und BĂŒrger in den westlichen Demokratien diese Gesellschaften vor der EinfĂŒhrung von Systemen Ă  la chinesisches Sozialkreditsystem schĂŒtzen?
Wohl kaum. Erstens, weil, wie Kosik bemerkte, das chinesische Scoring nicht nur fĂŒr BĂŒrger, sondern auch fĂŒr Firmen und Organisationen obligatorisch sein sollte. Unternehmen, die ihre GeschĂ€fte in oder mit China betreiben, Organisationen oder MedienhĂ€user, die in China aktiv sind, werden vermutlich ebenfalls von der Pflicht betroffen sein, einen Scorewert fĂŒr sich – und ihre Mitarbeiter – vorzuweisen.

SCS wird so seine Anwendung und GĂŒltigkeit weit ĂŒber die Grenzen des Reiches der Mitte erlangen und sich zu einem weltweit geltenden Scoringsystem entwickeln. Ein weiterer Schritt Chinas zur Erlangung weltweiter wirtschaftlicher Dominanz? Möglicherweise. Es wird jedenfalls den deutschen, US-amerikanischen, französischen und anderen Mitarbeitern chinesischer Dependancen ihrer Firmen, politischer Stiftungen oder charitativer Hilfsorganisationen kaum möglich sein, sich dem SCS zu entziehen. NatĂŒrlich nur, falls sie ihre Arbeit dort fortsetzen möchten. Love it, change it or leave it – so lauten die Alternativen. Ändern kann man es gewiss nicht. Theoretisch kann man immer noch zwischen zwei weiteren Optionen wĂ€hlen. Aber nur, wenn man den geschĂ€ftlichen oder politischen RĂŒckzug aus China als ernsthafte Alternative betrachtet.

Alle Daten sind Kreditdaten

Zweitens, weil Ă€hnliche Systeme in den als westlich bezeichneten Demokratien bereits verbreitet und akzeptiert sind. Es ist von Kreditscoring – der Bewertung der KreditwĂŒrdigkeit von Personen – die Rede, das heute, erklĂ€rte Dr. Nicola Jentzsch von der Stiftung Neue Verantwortung auf der “GI-Jahrestagung Informatik 2018”:https://informatik2018.gi.de/programm/mittwoch/joseph/, sich weitgehend zum sogenannten Vebraucherscoring bzw. Consumer Scoring, weiterentwickelt habe. Die originĂ€re Frage des Kreditscorings, ob ein Kunde kreditwĂŒrdig ist, verwandelte sich zunehmend in die Frage: Ist der Kunde vertrauenswĂŒrdig?

Und um diese Frage zu beantworten, werten Techunternehmen exorbitante Mengen persönlicher Daten ihrer Kunden aus. Die amerikanische KreditĂŒberwachung, die sich seit den 1990er-Jahren zunehmend des algorithmischen Scorings und kommerziellen Big Data bedient, ist nun bemĂŒht, den US-amerikanischen Konsumenten „gut“ zu machen, schrieb Josh Lauer in „Creditworthy“ . Das bedeutet: moralisch verantwortungsvoll, vorhersehbar, gefĂŒgig – und profitabel. Die neutrale Technologie, so Stanislaw Lem, liefert nur die Mittel und Werkzeuge. Ihre richtige oder falsche Anwendung liegt bei den Menschen.

Der Große Bruder bewertet uns alle

Im Sommer hat Facebook begonnen, die VertrauenswĂŒrdigkeit seiner Nutzer zu bewerten und sie in einer Skala von 0 bis 9 abzubilden. Dieser „trustworthiness score“ sollte, neben anderen, nicht nĂ€her bezeichneten Indikatoren, ein Instrument des Risikomanagements des Konzerns sein, der nach den VorwĂŒrfen der Verbreitung von Fake News und politischer Propaganda im US-PrĂ€sidentschaftswahlkampf nach neuen Methoden und Algorithmen sucht, um der „Information Warfare“ zu begegnen. Mit dem VertrauenswĂŒrdigkeit-Scorewert möchte man nicht nur die „bösen Buben“ identifizieren, die Fake News verbreiten, sondern auch solche, die das Facebook-Anzeigesystem missbrauchen und Nachrichten beim Portal anzeigen, dessen Inhalte ihren persönlichen Überzeugungen nicht entsprechen, die aber im Übrigen korrekt sind.

Wie der Facebook-Scorewert berechnet und welche anderen Indikatoren bei VertrauenswĂŒrdigkeitsmessung hinzugezogen werden, ist intransparent. Das macht es fĂŒr Forscher wie Nutzer zwar ein wenig unkomfortabel, doch sei dieses Vorgehen notwendig, damit das System nicht ausgetrickst werden kann, begrĂŒndete “laut Washington Post”:https://www.washingtonpost.com/technology/2018/08/21/facebook-is-rating-trustworthiness-its-users-scale-zero-one/ Facebook. In anderen FĂ€llen begrĂŒnden Unternehmen, die traditionelles Kreditscoring anbieten, die Unmöglichkeit, die Entscheidungswege oder Algorithmen offenzulegen, mit dem Verweis auf das intellektuelle Recht des Unternehmens. Dem widerspricht Paul Nemitz, Chefberater bei der EuropĂ€ischen Kommission: Immer wenn personenbezogene Daten betroffen sind, ist die Datenschutzgrundverordnung (DSGVO) anwendbar. Das soziale Netzwerk Facebook alleine soll ca. drei Trillionen Verhaltensprognosen tĂ€glich erstellen. Da Verhaltensprognosen personenbezogene Daten sind, sei auch hier DSGVO anwendbar, so Nemitz. Und damit sei auch das Recht der Betroffenen auf Auskunft und Information gemĂ€ĂŸ “Art. 13-15 DSGVO”:https://dsgvo-gesetz.de/art-15-dsgvo/ gemeint.

Wider der Informationsasymmetrie

Auch wenn sich Unternehmen in der Öffentlichkeit hĂ€ufig des Bildes eines intransparenten und nicht nachvollziehbaren Entscheidungsprozesses bedienen; bei den Entscheidungen, die etwa ĂŒber Kreditvergabe, Jobangebote oder die Höhe von VersicherungsprĂ€mien in einem mysteriösen Black-Box-Verfahren durch objektiv und unfehlbare Maschinen getroffen werden, sei dies nicht notwendigerweise richtig, stellte die Fachgruppe Rechtsinformatik der GI im Gutachten fĂŒr den SachverstĂ€ndigenrat fĂŒr Verbraucherfragen fest. In vielen FĂ€llen ließen sich die Algorithmen und EntscheidungsvorgĂ€nge sehr wohl transparent und nachvollziehbar darstellen. Neben der Offenlegung des Sourcecodes und Quellcodeanalyse liegen andere, effektive Methoden vor, mit denen sich Transparenz und PrĂŒfbarkeit signifikant erhöhen lassen. Sich auf intellektuelle Werte und Urheberrechte zu berufen sei aber auch schlichtweg falsch, so Paul Nemitz.

„Die datengestĂŒtzte Beurteilung fĂŒhrt [
] zu [
] einer Informationsasymmetrie zwischen Unternehmen und Verbrauchern“, stellten Autoren der GI-Studie „Technische und rechtliche Betrachtungen algorithmischer Entscheidungsverfahren“ fest (*). Die VerfĂŒgbarkeit großer DatenbestĂ€nde und die zunehmende LeistungsfĂ€higkeit der IT, gebĂŒndelt mit maschinellem Lernen und kĂŒnstlicher Intelligenz, machen Algorithmic Decision Making, kurz: ADM, zunehmend attraktiv fĂŒr die Unternehmen. Gerade auf dem Feld des Kreditscorings oder der individualisierten Preisermittlung (Dynamic Prising). „Gepaart mit fehlender Transparenz kann dies zu einem starken Unbehagen in der breiten Öffentlichkeit und in Expertenkreisen fĂŒhren“, resĂŒmieren die Autoren, die sich in ihrer Studie der QualitĂ€t von ADM-basierten Entscheidungen unter den Aspekten der Fairness, möglichen Ungleichbehandlung und Diskriminierung genĂ€hert haben. Und dem die Öffentlichkeit beherrschenden Bild der unerklĂ€rbaren und nicht nachvollziehbaren Entscheidungen zum Trotz, haben sie zwei zentrale Methoden identifiziert, die die Transparenz algorithmischer Entscheidungen „signifikant erhöhen“: Testing und Audit.

„In vielen ADM-Systemen können Entscheidungsstrukturen transparent und nachvollziehbar dargestellt werden.“ Damit jedoch Tests und Audits effektiv eingesetzt werden können, fehlen noch geeignete Standards, die den Bewertungen und PrĂŒfungen zugrunde gelegt werden können. Ähnlich wie bei der PrĂŒfung der QualitĂ€t oder Sicherheit von Software mĂŒssten hierfĂŒr quantifizierbare Fairness- und Gleichbehandlungskriterien definiert werden. ZusĂ€tzlich wĂ€re die Legitimation dieser zwei Methoden durch den Gesetzgeber notwendig.

Stumpfes Schwert

Ob im Osten oder im Westen: Menschen werden zunehmend von automatisierten Systemen beobachtet und bewertet. Sie können von Algorithmen – bzw. von den Interessengruppen, die sie einsetzen – gesteuert oder manipuliert werden, in allen Lebenssituationen. „Das geht bei der Schufa los, die Ihnen einen Wert fĂŒr Ihre finanzielle BonitĂ€t verpasst, und geht bei den Versicherungen weiter, die Ihnen gĂŒnstigere Tarife anbieten, wenn Sie den Gesellschaften Ihre Daten zur VerfĂŒgung stellen“, erklĂ€rte “im Tagesspiegel”:https://www.tagesspiegel.de/wirtschaft/regierungsberater-gerd-gigerenzer-wir-sind-laengst-auf-dem-weg-in-den-ueberwachungsstaat/20950328-all.html der Berater der Bundesregierung fĂŒr Verbraucherschutz, Gerd Gigerenzer. ADM, vollautomatisch oder manuell: ob Algorithmen öffentlich kontrolliert oder weiter als GeschĂ€ftsgeheimnisse privater Unternehmen gehĂŒtet werden, ist auch fĂŒr die Legitimation der Demokratie von Belang.

Die Politik diskutiert verschiedene AnsĂ€tze zur Regulierung von Algorithmen und kĂŒnstlicher Intelligenz – einige fanden den Weg in den Koalitionsvertrag zwischen CDU, CSU und SPD: von einer Art Kennzeichnungspflicht fĂŒr ausgewĂ€hlte algorithmische Entscheidungen bis hin zur Zertifizierung und zu Anti-Diskriminierungsgesetzen: „Diskriminierungsverbote der analogen Welt mĂŒssen auch in der digitalen Welt der Algorithmen gelten“ , heißt es dort, deswegen wĂŒrde man sich fĂŒr Transparenz bei Online-Vergleichs- und -Beratungsportalen einsetzen wollen. Bisweilen ist es erstaunlich, wie wenig man ĂŒber die mĂ€chtigsten Überwachungsinstitutionen in den westlichen Institutionen weiß, schrieb Josch Lauer. Bis weit in die 1960er-Jahre arbeiteten die Kreditscoring-Firmen in „quiet obscurity“ . Mit den Debatten um Datenschutz und Überwachung rĂŒcken sie erst langsam in das Licht der Öffentlichkeit.

Angesichts von Risiken, steigender Überwachung, fehlender wissenschaftlicher und praktischer Grundlagen, Standards und Intransparenz stellt sich zunehmend die Frage, ob man Scoringsysteme insgesamt nicht einfach verbieten könnte. Und tatsĂ€chlich: Die europĂ€ische Grundverordnung enthĂ€lt ein Verbot automatisierter Entscheidungen im Art. 22 DSGVO. DĂŒrfte es demnach Kreditscoring-Unternehmen wie Schufa oder Infoscore gar nicht mehr geben? Weit gefehlt. Das Verbot in Art. 22 DSGGVO ist nur auf vollautomatisierte Entscheidungen bezogen – und in der Praxis kommen solche nur selten vor. Hinzu kommen zahlreiche Ausnahmen. „Die automatisierte Einzelentscheidung ist zulĂ€ssig, falls sie ‚fĂŒr den Abschluss oder die ErfĂŒllung eines Vertrages zwischen der betroffenen Person und dem Verantwortlichen erforderlich ist‘“ , halten die Autoren des GI-Gutachten fest. Außerdem kann sie aufgrund anderer Rechtsvorschriften der EU oder des jeweiligen Mitgliedsstaates zulĂ€ssig sein – oder wenn der Betroffene „ausdrĂŒcklich eingewilligt“ hat. Art. 22 DSGVO sei demnach lediglich ein „stumpfes Schwert“ – so viele SpielrĂ€ume gibt es, aus seinem Anwendungsbereich herauszufallen.

Algorithmen als Chance

Wir leben zwar in einer Demokratie, wir leben aber auch im Kapitalismus. Dies bedeutet, dass vieles, was konstitutive Grundwerte unterminiert, unter bestimmten UmstĂ€nden, bspw. in einer GeschĂ€ftsbeziehung (auch bei einem Kauf- oder Mietvertrag) oder beim Vorhandensein einer anderen gesetzlichen Grundlage, erlaubt oder wenigstens nicht verboten ist. Equifax und Schufa abschaffen? Es entspreche durchaus den sozialdemokratischen SolidaritĂ€tsprinzipien, dass die Reichen etwas an die Armen abgeben. Wenn man ohne Risikobewertung eines jeden Einzelnen mehr fĂŒr einen Service zahlen muss, dann ist es immer noch gerechter, als wenn wegen eines schlechten Rankings ganze Existenzen vernichtet wĂŒrden. SolidaritĂ€t als einer der Grundwerte einer sozialen Demokratie setze etwa bei Versicherungen Nichtwissen in Bezug auf individuelle Risiken voraus, “sagte Ulf Buermeyer”:https://twitter.com/vieuxrenard, Vorsitzender der Gesellschaft fĂŒr Freiheitsrechte bei der Friedrich-Ebert-Stiftung. Und forderte: Auskunfteien sollten abgeschafft oder wenigstens stark reguliert werden. Doch dafĂŒr – und das ist auch eines der Ergebnisse der GI-Studie – fehlen an vielen Stellen entweder gesetzliche Grundlagen, Standards oder die konsequente Legitimation relevanter Instrumente wie PrĂŒfungen, Tests oder Zertifikate.

Falls man möchte, dass die Technologie kĂŒnftig das Leben der Menschen erleichtert, dann wird ein System notwendig, das auf wesentlich gerechterer Verteilung von Macht und Information beruht. Die Algorithmen spielen in diesem Prozess dennoch eine wichtige Rolle: Sie helfen, nachzuvollziehen und zu verstehen, wie bisher auch in den demokratischen Gesellschaften diskriminiert, benachteiligt oder ungleichbehandelt wurde. So gesehen, sollte man die Algorithmen auch als eine Chance verstehen, das Leben der Menschen und ihre Umgebung zu verbessern. Im Hinblick auf die starke Dynamik auf den Feldern der KI und lernender Algorithmen sei es wichtig, dass die Fragen rechtzeitig adressiert werden, appellieren deswegen die Autoren des GI-Gutachtens, um zunehmend relevanter werdenden Herausforderungen pro-aktiv zu begegnen. In der Star-Trek-Vision der Gesellschaft des 24 Jahrhunderts gibt es keinen Platz fĂŒr Klassen- oder Rassenunterscheide. Und der Fußboden reinigt sich selbst.

(*) “Das Gutachten”:http://www.svr-verbraucherfragen.de/wp-content/uploads/scoring_veranstaltung_svrv.pdf wird am 31. Oktober 2018 in Berlin vorgestellt:

KOMMENTARE

MEIST KOMMENTIERT

Statt Zuwanderungsromantik lieber richtige Politik

FĂŒr viele BeschĂ€ftigte sind Kontrollverlust durch Kontrollverzicht und Staatsversagen in der AuslĂ€nderpolitik tĂ€gliche LebensrealitĂ€t. Deshalb sind viele Kolleginnen und Kollegen stinksauer ĂŒber diese Art von Politik. Und wĂ€hlen gar nicht mehr oder eben anders. Beides ist ihr gutes Recht.

Wie ein PrÀsident Selensky relativ erfolgreich sein könnte

Ein Großteil der intellektuellen Elite, politischen Chatcommunity, weltweiten Diaspora und auslĂ€ndischen Freunde der Ukraine ist entsetzt ĂŒber den Ausgang der ukrainischen PrĂ€sidentschaftswahlen. Der Schauspieler, Komiker und GeschĂ€ftsmann Wolodymyr Selensky wird, nachdem er im ersten Wahlgang

August von Hayek: „Der Weg zur Knechtschaft“

Von 1940 – 1943, als der Kampf gegen das Deutschland der Nationalsozialisten noch nicht entschieden war, schrieb August von Hayek im englischen Exil, in das er vor den Nationalsozialisten geflĂŒchtet war, „Der Weg zur Knechtschaft“. Es erschien 1944 in England, dem Land, das Europa innerhalb v

Die Migrations-Politik der EU ist gescheitert

Vortrag von Herr Köppel bei der EKR (Fraktion der EuropĂ€ischen Konservativen und Reformer) im Europaparlament in BrĂŒssel am 17.06.2019, als Beitrag zur Diskussionsrunde „Die EU nach den Wahlen - weniger Europa“. Herr Köppel erlĂ€utert, warum die Schweiz mit der EU bestens zusammenarbeiten wi

Teilen und Herrschen: Frankreich will immer im EU-Poker mitsspielen

Um die Schwierigkeiten zu verstehen, die die Besetzung der sogenannten Topjobs (Kommissions-, EZB- und ParlamentsprĂ€sident, sowie den Hohen Vertreter der EU fĂŒr Außen- und Sicherheitspolitik) in der EU mit sich bringen, lohnt es sich die Mitglieder der EU einzeln nach Gewichtung, Interessen und m

Wie ein schwacher Staat unsere Sicherheit aufs Spiel setzt

Die Bibliothek des Konservatismus Berlin ist eines der kleinen gallischen Dörfer in der rot-dunkelrot-grĂŒnen Hauptstadt des besten Deutschlands, das wir je hatten, von denen Widerstand gegen den Zerfall unseres Landes ausgeht. Am 3. Juli war in der Bibliothek jeder der ĂŒber dreihundert unbequeme

Mobile Sliding Menu