Das Magazin „Wired“ veröffentlichte am Donnerstag Dokumente, die genau auflisten, wie in einer Londoner U-Bahn-Station der Einsatz von KI getestet wurde. Viele der Methoden erinnern dabei immer noch an Science-Fiction-Filme, auch wenn die Technik mittlerweile längst in der Realität angekommen ist.
Die Bewegungen, das Verhalten und sogar die Körpersprache wurden laut „Wired“ überwacht – dazu wurden die Bilder von Überwachungskameras live von der KI ausgewertet. So wurde nicht nur überprüft, ob Menschen ein gültiges Ticket haben, sondern diese auch auf aggressives Verhalten getestet, etwa, ob sie eine Waffe ziehen. Auch gefährliche Situationen sollten erkannt werden, wenn beispielsweise die Sicherheitslinie überschritten wird. Insgesamt 44.000-mal schlug das System in einem Zeitraum von rund einem Jahr an.
Zahlreiche Probleme bei Pilotversuch
Doch das eingesetzte System aus elf verschiedenen Algorithmen funktionierte in dem Pilotversuch alles andere als einwandfrei, wie „Wired“ weiter berichtet. Kinder wurden fälschlicherweise häufig als Schwarzfahrer erkannt. Auch die Erkennung von Aggression funktionierte nicht, wie der „Öffi“-Betreiber Transport for London (TfL) in seinem internen Bericht feststellt. Darin heißt es, man habe „aggressive Handlungen“ einbeziehen wollen, sei aber nicht in der Lage gewesen, sie „erfolgreich zu erkennen“. Es habe dazu an passenden Trainingsdaten gemangelt – weitere Gründe wurden in dem Dokument geschwärzt, so das Magazin.
Fachleute äußerten sich skeptisch: Der Datenschutzaktivist Daniel Leufer von Access Now wies gegenüber „Wired“ darauf hin, dass bei derartigen Erkennungsversuchen Trainingsdaten „immer unzureichend“ seien, „weil diese Dinge wohl zu komplex und nuanciert sind, als dass sie in Datensätzen mit den erforderlichen Nuancen richtig erfasst werden könnten“.
Umgang mit Datenschutz sorgt für Kritik
Auch der Umgang mit dem Datenschutz wird heftig kritisiert. Zwar kam keine Gesichtserkennung zum Einsatz, heißt es von einem Experten des Forschungsinstituts Ada Lovelace Institute gegenüber „Wired“, „aber der Einsatz von KI in einem öffentlichen Raum zur Identifizierung von Verhaltensweisen (…) wirft viele der gleichen wissenschaftlichen, ethischen, rechtlichen und gesellschaftlichen Fragen auf wie Gesichtserkennungstechnologien“.
„Öffi“-Betreiber will weiter testen
In einem Statement von TfL vom Donnerstag sagte die Leiterin für öffentliche Sicherheit, Mandy McGregor, dass es in der Station Willesden Green keine Hinweise auf den Einsatz von KI gab. Man werde die Versuchsergebnisse weiterhin analysieren. Es gebe bei den KI-Versuchen darüber hinaus „keine Anzeichen für einen Bias“, also Voreingenommenheit im Hinblick etwa auf äußerliche Merkmale.
Man prüfe nun „die Gestaltung und den Umfang einer zweiten Phase des Versuchs“, weitere Entscheidungen über die Ausweitung des Einsatzes von KI wurden aber bisher nicht getroffen. Ohnehin wolle man sich rechtzeitig mit Fachleuten und den betroffenen Stadtteilen absprechen, so TfL laut „Wired“.
Ähnliches System auch in New York im Einsatz
Der Fokus für TfL dürfte in erster Linie auf den Schwarzfahrern liegen – dabei schlug das System laut dem internen Bericht auch am häufigsten an. Den Verkehrsbetreiber kostet das Schwarzfahren laut eigenen Angaben jährlich rund 130 Mio. Pfund (rund 152 Mio. Euro), das System meldete laut „Wired“ 26.000 Verstöße – ob das auch die fälschlich gezählten Kinder beinhaltet, ist nicht klar. London ist jedenfalls nicht die einzige Stadt, die derartige Systeme einsetzt: Auch in New York wird mittels KI geprüft, ob der Fahrpreis bezahlt wurde.
„Schmaler Grat ist sehr schmal“
Doch der grundlegende Einsatz von KI ist für Fachleute ein schmaler Grat: „Wenn die Infrastruktur erst einmal da ist, ist es absolut trivial, sie aufzurüsten“, übte unterdessen der Datenschutzexperte Leufer Kritik. „Es ist wirklich besorgniserregend, was noch dazukommen könnte. Der schmale Grat ist sehr schmal“, so Leufer im Hinblick auf ausgedehnte Überwachung, die wohl auch Gesichtserkennung nicht ausschließt.