Publikationen / vorgänge / vorgänge Nr. 242: Künstliche Intelligenz und Menschenrechte

Künstliche Intelligenz menschen­recht­lich einhegen? Die Europäische Union auf dem Weg zu einer KI-Ver­ord­nung

vorgänge242: Künstliche Intelligenz und Menschenrechte01/2024Seite 55-61

von Hartmut Aden

Anfang Dezember 2023 einigten sich das Europäische Parlament und der Rat der Europäischen Union auf eine Kompromissfassung für eine Verordnung der Europäischen Union zur Entwicklung und Nutzung von Anwendungen Künstlicher Intelligenz, deren Regelungen nach einer Übergangsfrist von zwei Jahren in den Mitgliedstaaten unmittelbar gelten werden. Diese auch als KI-Gesetz oder AI Act bezeichnete Verordnung basiert auf einem kontrovers diskutierten Vorschlag, den die Europäische Kommission im Frühjahr 2021 vorlegte. Das Europäische Parlament machte im Sommer 2023 am Ende der ersten Lesung des Entwurfs umfangreiche Änderungsvorschläge, insbesondere im Interesse des Grund- und Menschenrechtsschutzes. Der Beitrag von Hartmut Aden bewertet zentrale Elemente der Verordnung aus menschen- und bürger*innenrechtlicher Perspektive.ⁱ

1. Von ethischen zu rechtlichen Anfor­de­rungen

Die Diskussion über Künstliche Intelligenz (KI) und mögliche Grenzen ihrer Entwicklung und Nutzung wurde lange Zeit vor allem unter ethischen Aspekten geführt: Wie kann sichergestellt werden, dass am Ende nicht Maschinen wichtige Entscheidungen übernehmen und die Menschen unkontrollierbar beherrschen? Wie kann verhindert werden, dass Menschen, die KI-Anwendungen nutzen, andere Menschen manipulieren und beherrschen können? Grundsätze wie Transparenz, Erklärbarkeit und das Prinzip, dass am Ende ein Mensch und nicht die KI-Anwendung wichtige Entscheidungen treffen soll, sind Ergebnisse dieser Ethikdiskussion.ⁱⁱ

Für die Nutzung von KI galten bisher die allgemeinen rechtlichen Regeln wie das Datenschutzrecht und die Fachgesetze für die jeweiligen Einsatzgebiete. Erst in den letzten Jahren ist ein Trend hin zur Schaffung rechtsverbindlicher Regelungen spe-ziell für die Entwicklung und Nutzung von KI zu beobachten. Im Europarat wird die Etablierung einer KI-Konvention diskutiert (vgl. Europarat-CAI 2023). In der Europäischen Union (EU) legte die Europäische Kommission im Frühjahr 2021 einen Verordnungsentwurf vor – mit der expliziten Ambition, „bei der Entwicklung einer sicheren, vertrauenswürdigen und ethisch vertretbaren künstlichen Intelligenz weltweit eine Führungsrolle einzunehmen“ (Europäische Kommission 2021: 21 = Erwägungsgrund 5). Der Untertitel Gesetz über Künstliche Intelligenz – englisch AI Act – symbolisiert diese weitreichenden Ambitionen ebenfalls.

Die Europäische Kommission wollte zwei Anliegen miteinander verbinden, die zwangsläufig in Konflikt miteinander stehen: den Schutz der Grundrechte vor Auswirkungen von KI-Anwendungen und die Schaffung von günstigen Rahmenbedingungen für die wirtschaftliche Nutzung von KI:

Die Kommission formulierte in ihrem Entwurf die folgenden Ziele:

• „Es muss gewährleistet sein, dass die auf dem Unionsmarkt in Verkehr gebrachten und verwendeten KI-Systeme sicher sind und die bestehenden Grundrechte und die Werte der Union wahren.

• Zur Förderung von Investitionen in KI […] muss Rechtssicherheit gewährleistet sein.

• Governance und die wirksame Durchsetzung des geltenden Rechts zur Wahrung der Grundrechte sowie die Sicherheitsanforderungen an KI-Systeme müssen gestärkt werden.

• Die Entwicklung eines Binnenmarkts für rechtskonforme, sichere und vertrauenswürdige KI-Anwendungen muss erleichtert werden und es gilt, eine Marktfragmentierung zu verhindern.“ (Europäische Kommission 2021: 3).

Die kontroversen fachöffentlichen Diskussionen während des Gesetzgebungsverfahrens spiegeln die Breite und die potenzielle Widersprüchlichkeit dieser Zielsetzungen wider. Manche KI-Entwicklungsfirmen und Sicherheitsbehörden vertraten bei ihren Lobby-Interventionen sogar die Position, die EU solle lieber auf einen ausdifferenzierten Rechtsrahmen für die KI-Nutzung verzichten, um die weitere Entwicklung von KI-Anwendungen nicht zu behindern (zur Kritik an solchen Positionen EDRi et al. 2023).

Das Europäische Parlament legte am Ende der ersten Lesung im Sommer 2023 umfangreiche Änderungsvorschläge vor, auch um den Grund- und Menschenrechtsschutz zu stärken (Europäisches Parlament 2023a). Anfang Dezember 2023 fanden Vertreter*innen des Europäischen Parlaments und des Rats der EU in den sogenannten Trilog-Verhandlungen unter Beteiligung der Europäischen Kommission einen Kompromiss, sodass die Verordnung in Kraft treten kann und nach einer Übergangszeit von zwei Jahren in den Mitgliedstaaten unmittelbar anwendbar sein wird (Europäisches Parlament 2023b).

2. Umstrittene Zuordnung zu Risiko­stufen

Kernelement der Verordnung ist ein risikobasierter Ansatz. Dieser erscheint auch aus menschen- und bürger*innenrechtlicher Perspektive sinnvoll: Je größer die Risiken für Rechte Betroffener sind, desto restriktiver sollten die Regelungen ausfallen. Kontrovers gesehen wird allerdings für viele KI-Anwendungen, welcher Risikostufe sie zugeordnet werden sollten, was während der Aushandlung der KI-Verordnung eines der Hauptstreitthemen war. Kritische Stimmen weisen zu Recht darauf hin, dass die Zuordnung von KI-Anwendungen zu den Risikostufen sich nicht konsequent genug an den Risiken für die Grundrechte orientiert (vgl. etwa Ruschemeier 2023: 369).ⁱⁱⁱ

Im Zentrum der Regelungsvorschläge und der darüber entbrannten Kontroversen standen die beiden höchsten Risikostufen: Erstens stuft die Verordnung besonders risikobehaftete KI-Anwendungen als „verbotene Praktiken“ ein (Art. 5), eröffnet allerdings zugleich „Hintertüren“, die ihre Nutzung den Strafverfolgungsbehörden ausnahmsweise doch erlauben sollen (dazu unten, Abschnitt 3). Zweitens enthält die Verordnung Regelungen für „Hochrisiko-KI-Systeme“ (Art. 6ff.), an deren Nutzung umfangreiche Pflichten geknüpft werden. Kaum verwunderlich konzentrierten sich die Kontroversen während des Gesetzgebungsverfahrens daher auf die Frage, welche KI-Anwendungen in diese beiden Kategorien fallen sollen.

Am Ende der Verhandlungen erreichte das Europäische Parlament, dass eine Reihe von KI-Anwendungen mit weitreichenden Auswirkungen auf die Rechte Betroffener als verboten eingestuft wurden: die Kategorisierung von Menschen aufgrund von besonders sensiblen Datenkategorien wie politischen und weltanschaulichen Überzeugungen, sexueller Orientierung oder Zuordnung zu einer „Rasse“, das ungezielte Schaffen von Datenbanken mit Gesichtsbildern mit Daten aus dem Internet, aus Social-Media-Plattformen oder aus der Videoüberwachung, die Nutzung von Emotionserkennungssystemen am Arbeitsplatz und in Bildungseinrichtungen, Bewertungssysteme für das Verhalten von Menschen (Social Scoring), KI-Systeme, die menschliches Verhalten manipulieren oder ihre freie Willensentscheidung behindern und KI-Systeme, die zur Ausbeutung vulnerabler Gruppen führen können (Europäisches Parlament 2023b). Allerdings bleibt dieser Kompromiss hinter zivilgesellschaftlichen Verbotsforderungen zurück, die auch automatisierte Profiling-Systeme in der Strafverfolgung und im Migrationsbereich verboten sehen wollten (EDRi et al. 2023: 3)

Problematisch bleibt die Zuordnung von KI-Anwendung zur Hochrisiko-Kategorie. Auch unterliegen niedriger eingestufte KI-Systeme nur schwachen Anforderungen, insbesondere Transparenzregelungen (Art. 52). Dem liegt die Hypothese zugrunde, dass von so eingestuften KI-Anwendungen keine oder vergleichsweise geringe Risiken für die Grund- und Menschenrechte der Betroffenen ausgehen. Dies trifft zwar in vielen Fällen zu, etwa, wenn keine (oder nur wenig) personenbezogene Daten verarbeitet werden, erweist sich aber beim näheren Hinsehen als problematisch: Auch scheinbar harmlose KI-Anwendungen können in bestimmten Verwendungskontexten weitreichende Auswirkungen auf Betroffene haben, etwa wenn Firmen oder Behörden Chatbots für die Kommunikation per Telefon oder Internet einsetzen und Betroffene kaum noch Chancen haben, ihre Anliegen mit realen Menschen zu besprechen.

3. Integrierter Regelungs­an­satz, aber „Hinter­türen“ für Straf­ver­fol­gungs­be­hörden und fehlende Erstreckung auf Nachrich­ten­dienste und Militär

Die Verordnung gilt auch für Strafverfolgungsbehörden. Damit wurde für die KI ein anderer Regelungsansatz gewählt als für den Datenschutz, dessen EU-Rechtsrahmen die Strafverfolgung vom Anwendungsbereich der Datenschutzgrundverordnung (DSGVO, VO (EU) 2016/679) ausnimmt. Statt der DSGVO gilt für die Strafverfolgungsbehörden die gesonderte Richtlinie (EU) 2016/680 mit größeren Umsetzungsspielräumen für die Mitgliedstaaten. Dagegen gelten die Regelungen der KI-Verordnung grundsätzlich auch für Strafverfolgungsbehörden. Allerdings sind für sie zahlreiche Ausnahmeklauseln vorgesehen, auch für die ansonsten verbotenen KI-Anwendungen (näher hierzu Engelhardt/Schiemann 2022: 447f.; Aden/Kleemann 2023).

Besonders kontrovers wurde dies für die biometrischen Echtzeit-Fernidentifizierungssysteme diskutiert, die zu den verbotenen Praktiken im Zusammenhang mit KI-Anwendungen gehören sollen (Art. 5). Unter diese Kategorie fallen Systeme, die Menschen beispielsweise aufgrund von Bildern aus Überwachungskameras im öffentlichen Raum identifizieren können. Allerdings gewährt derselbe Artikel den Strafverfolgungsbehörden Ausnahmen von diesem Verbot, die bis kurz vor der Verabschiedung eines der größten Streitthemen zwischen Parlament und Rat waren. In der Kompromissfassung wurde die Nutzung der Echtzeit-Fernidentifizierung von einer richterlichen Anordnung abhängig gemacht und nur im Falle von besonders schweren Straftaten erlaubt (Europäisches Parlament 2023b).

Schließlich sollte nicht übersehen werden, dass die Regelungen der KI-Verordnung für Nachrichtendienste und Militär keine Anwendung finden – aufgrund der fehlenden beziehungsweise sehr begrenzten Kompetenzen der EU in diesen Bereichen.

4. Kontroll­struk­turen, indivi­du­elle Beschwer­demög­lich­keiten und deren Defizite

Bereits der ursprüngliche Kommissionsentwurf sah Gremien vor, die sich mit der Einhaltung der Verordnungsregelungen befassen sollen, insbesondere die Einrichtung eines Europäischen Ausschusses (European Artificial Intelligence Board) und von Stellen zur Sicherstellung der korrekten Implementation der Regeln in den Mitgliedstaaten (Europäische Kommission 2021: Art. 56ff.). Das Europäische Parlament bevorzugte die Einrichtung einer stärker institutionalisierten Struktur auf EU-Ebene in Form eines European Artificial Intelligence Office (Europäisches Parlament 2023a). Die Mitgliedstaaten sollen Verwaltungsstrukturen zur Sicherstellung einer effektiven Implementierung der Verordnung einrichten. In den Verhandlungen blieb allerdings unklar, in welchem Verhältnis diese administrativen Strukturen zu bereits bestehenden mitgliedstaatlichen und europäischen Aufsichtsbehörden stehen sollen, insbesondere zur Datenschutzaufsicht, mit deren Aufgaben es zahlreiche Überschneidungen gibt, unter anderem bei der KI-basierten Verarbeitung personenbezogener Daten, etwa beim KI-Training.

Beschwerdemöglichkeiten Betroffener fehlten im ursprünglichen Entwurf, was insbesondere von zivilgesellschaftlichen Akteur*innen kritisiert wurde (vgl. EDRi et al. 2023: 2). Für Hochrisiko-KI-Systeme konnte das Europäische Parlament in der Endfassung die Einrichtung eines Beschwerdemechanismus erreichen (Europäisches Parlament 2023b).

5. Fazit: Das KI-Recht steht erst am Anfang seiner Entwicklung

Mit der KI-Verordnung der EU liegt erstmals ein umfangreiches Regelwerk für den Umgang mit KI-Anwendungen vor. Die Endfassung lässt viele Fragen offen (vgl. zur Kritik: Hacker 2023). Ob die hier gewählten Ansätze zur Transformation ethischer in rechtliche Standards funktionieren, wird erst die Anwendungspraxis zeigen (skeptisch hierzu Ruschemeier/Mühlhoff 2023). Auch die Frage, ob der Rechtsrahmen die Entwicklung von KI in der EU beschleunigt oder hemmt, wird erst die Anwendungspraxis beantworten. Vieles spricht jedoch dafür, dass ein rechtlicher Rahmen für die Grenzen zwischen erlaubten und verbotenen Praktiken für europäische Firmen zum Marktvorteil werden könnte – denn nicht nur in Europa, sondern auch in anderen Teilen der Welt dürften viele Akteur*innen Wert auf eine rechtssichere, menschenrechtsorientierte Handhabung legen, wenn sie KI-Anwendungen nutzen.

Die von der Verordnung offengelassenen und viele weiterhin umstrittenen Fragen legen die Prognose nahe, dass die KI-Regelung in der EU einen ähnlichen Weg gehen könnte wie das EU-Datenverarbeitungsrecht nach Erlass der DSGVO: Die KI-Verordnung könnte den allgemeinen Rahmen bilden, auf dessen Basis weitere und konkretere Regelungen in Form von Verordnungen oder Richtlinien folgen, um speziellere Fragen wie die Cybersicherheit bei der KI-Nutzung, den Schutz vor KI-basierter Desinformation und vor Diskriminierung (vgl. hierzu Aden/Kleemann/Schönrock 2023) oder einzelne KI-Anwendungsfelder konkreter zu regeln (hierzu bereits Gonzáles Fuster 2020: 68ff.). Auch die datenschutz- und urheberrechtskonforme Generierung der umfangreichen Trainingsdaten, die für die KI-Entwicklung benötigt werden, wird voraussichtlich einen konkreteren Rechtsrahmen benötigen. Die Erfahrung mit den zahlreichen EU-Regelungen, die in den letzten Jahren für die Datenverarbeitung erlassen wurden, lässt allerdings erwarten, dass der Interessenkonflikt zwischen kommerzieller Nutzung von KI und hohen Standards für den Schutz von Grund- und Menschenrechten auch die weitere Entwicklung des KI-Rechts prägen wird.

Prof. Dr. Hartmut Aden ist Jurist und Politikwissenschaftler. Er ist Professor für Öffentliches Recht, Europarecht, Politik- und Verwaltungswissenschaft an der Hochschule für Wirtschaft und Recht Berlin (HWR), zugleich Vizepräsident für Forschung (seit 2020) und Mitglied des Forschungsinstituts für Öffentliche und Private Sicherheit (FÖPS Berlin). Zudem ist er Mitglied der Redaktion der vorgänge. Website: www.hwr-berlin.de/prof/hartmut-aden.

Literatur

Aden, Hartmut/Kleemann, Steven 2023: Die Verantwortlichkeit für die Nutzung Künstlicher Intelligenz im Sicherheitsbereich – Regelungsansätze und Problemfelder des KI-Verordnungsentwurfs der EU-Kommission, in: Pfeffer, Kristin (Hrsg.): Smart Big Data Policing – Chancen, Risiken und regulative Herausforderungen, Göttingen, S. 51-64.

Aden, Hartmut/Kleemann, Steven/Schönrock, Sabrina 2023: Probleme der Entwicklung diskriminierungsfreier Künstlicher Intelligenz, in: Sabrina Schönrock/Sarah Geißler (Hrsg.) 6. Fachsymposium zum Terroranschlag auf den Berliner Breitscheidplatz. Übergangsmanagement im Bereich des islamistischen Extremismus – Chancen, Risiken, Perspektiven, Stuttgart et al., S. 76-82

Engelhard, Jana/Schiemann, Anja 2022: Der EU-Kommissionsvorschlag einer Verordnung für künstliche Intelligenz aus rechts- und kriminalpolitischer Perspektive – Zur unumgänglichen aber nachbesserungsbedürftigen Harmonisierung, in: KriPoZ, Jg., 5, Nr. 6, S. 444-456.

Europarat, Committee on Artificial Intelligence (CAI) 2023: Consolidated Working Draft of the Framework Convention on Artificial Intelligence, Human Rights, Democracy and the Rule of Law (KI-Konvention), CAI(2023)18.

Europäische Kommission 2021: Entwurf einer Verordnung des Europäischen Parlaments und des Rates zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz (Gesetz über künstliche Intelligenz) und zur Änderung bestimmter Rechtsakte der Union, COM(2021) 206 final, 2021/0106(COD).

Europäisches Parlament 2023a: European Parliament, Draft Compromise Amendments on the Draft Report‚ Proposal for a regulation of the European Parliament and of the Council on harmonised rules on Artificial Intelligence (Artificial Intelligence Act) and amending certain Union Legislative Acts (COM(2021)0206 – C9 0146/2021 – 2021/0106(COD))’, KMB/DA/AS, 11 May 2023, https://www.europarl.europa.eu/resources/library/media/20230516RES90302/20230516RES90302.pdf (abgerufen am 16.12.2023).

Europäisches Parlament 2023b: Artificial Intelligence Act: deal on comprehensive rules for trustworthy AI, Pressemitteilung des Europäischen Parlaments vom 9.12.2023. Online: https://www.europarl.europa.eu/news/en/press-room/20231206IPR15699/artificial-intelligence-act-deal-on-comprehensive-rules-for-trustworthy-ai (abgerufen am 16.12.2023).

European Digital Rights (EDRi) et al. 2023: EU Trilogues: The AI Act must protect people’s rights. A civil society statement on fundamental rights in the EU Artificial Intelligence Act. Brüssel. Online https://edri.org/wp-content/uploads/2023/07/Civil-society-AI-Act-trilogues-statement.pdf (abgerufen am 16.12.2023).

González Fuster, Gloria 2020: Artificial Intelligence and Law Enforcement: Impact on Fundamental Rights. Study requested by the LIBE Committee of the European Parliament PE 656.295.

Hacker, Philipp 2023: What’s Missing from the EU AI Act: Addressing the Four Key Challenges of Large Language Models, in: Verfassungsblog vom 13.12.2023, https://verfassungsblog.de/whats-missing-from-the-eu-ai-act/, DOI: 10.59704/3f4921d4a3fbeeee.

Ruschemeier, Hannah 2023: AI as a challenge for legal regulation – the scope of application of the artificial intelligence act proposal, in: ERA Forum, 23, S. 361–376.

Ruschemeier, Hannah/Mühlhoff, Rainer 2023: Daten, Werte und der AI Act: Warum wir mehr Ethik für bessere KI-Regulierung brauchen, in: Verfassungsblog vom 15.12.2023, https://verfassungsblog.de/daten-werte-und-der-ai-act/, DOI: 10.59704/1fdcbe5787e8012c.

Anmerkungen: