Bei Deepfakes handelt es sich um Bild- und Videofälschungen, die mittels Künstlicher Intelligenz (KI) hergestellt werden. Sie werden vor allem zur Verbreitung (politischer) Desinformationen, aber auch zur Manipulation digitaler Identitätsnachweise benutzt. Mit der Ausweitung digitaler Identifizierungsverfahren geraten Privatpersonen zunehmend in den Fokus Deepfake-basierter Betrugsszenarien. Das Projekt FAKE-ID erarbeitet Kriterien, anhand derer manipulierte Bilder und Videodatenströmen identifiziert und klassifiziert werden können. Damit schafft es die Grundlagen für die Entwicklung eines Detektionsprogramms, das seinerseits mit Hilfe von KI die (mutmaßliche) Authentizität digitaler Bilder und Videos bzw. deren Fälschung abschätzen kann.

Das FÖPS-Teilvorhaben beschäftigt sich mit den rechtlichen, ethischen und gesellschaftlichen Anforderungen an die Entwicklung und den polizeilichen Einsatz eines KI-basierten Detektionsprogramms. Dabei geht es u.a. um ethische Fragen bei der Nutzung von Trainingsdaten, die für die Entwicklung des Systems notwendig sind; um die Transparenz, Rückverfolgbarkeit und Verantwortlichkeiten von Entscheidungen, die mit Hilfe einer „schwachen KI“ getroffen werden; um rechtliche und ethische Voraussetzungen für die Verwertbarkeit der Detektionsergebnisse in Gerichtsverfahren; sowie um den Schutz vor ausschließlich automatisierten Entscheidungen, wie ihn Art. 22 der EU-DSVGO vorsieht. Das FÖPS arbeitet dazu eng mit staatlichen und privaten Institutionen der Informationstechnologie zusammen, um den KI-gestützten Detektor von Grund auf nach den Prinzipien von Privacy by Design and by Default datenschutzkonform zu entwerfen. Im Sinne einer partizipativen Forschung sucht das FÖPS dabei auch den Dialog mit Nicht-Regierungs-Organisationen (NGOs), die sich mit den Gefahren des KI-Einsatzes im Sicherheitskontext auseinandersetzen.

Dem FAKE-ID-Konsortium gehören neben der HWR Berlin die Bundesdruckerei GmbH (Konsortialführung), die Otto-von-Guericke-Universität Magdeburg, das Fraunhofer Heinrich Hertz Institut (HHI) und die BioID GmbH (BIOID) an. Assoziierte Partnerschaften bestehen mit der Zentralstelle für Informationstechnik im Sicherheitsbereich (ZITiS), den Landeskriminalämtern von Berlin und Sachsen-Anhalt, der Deutschen Post DHL Group (DP), dem Cybersec Verbund Sachsen-Anhalt sowie der Fachhochschule für Verwaltung und Dienstleistung (FHVD).

Das Gesamtvorhaben wird vom BMBF im Rahmen Themenfeldes „Künstliche Intelligenz in der zivilen Sicherheitsforschung“ gefördert. Das FÖPS-Teilprojekt wird von Prof. Dr. Hartmut Aden und Prof.in Dr. Sabrina Schönrock geleitet.