Inhalt

1. Einleitung
2. Der Entwurf der KI-Verordnung
   1. Die Form des Verordnungsentwurfs
   2. Der Inhalt des Verordnungsentwurfs
      1. Geltungsbereich
      2. Der risikobasierte Ansatz
      3. Gouvernanz und Durchsetzung
3. Würdigung
   1. Vorbemerkungen
   2. Der Regulierungsansatz
   3. Der Geltungsbereich
   4. Der risikobasierte Ansatz und die vier Risikokategorien
      1. Die Kategorisierung anhand Risikolevels
      2. Verbotene KI-Systeme
      3. KI-Systeme mit hohem Risiko
   5. Die Perspektive der Grundrechtsträger·innen
   6. Durchsetzung
4. Auswirkungen auf die Schweiz
5. Fazit

Einleitung

Prüfungen der Kreditwürdigkeit durch private Unternehmen, Berechnung der Arbeitsmarktintegrationschancen für Arbeitslose, die Bewertung von Bewerbungsunterlagen im Rekrutierungsprozess, Online-Recherchen mittels Suchmaschinen, die Prognose des Rückfallrisikos bei Inhaftierten oder personalisierte Werbung auf Social Media Plattformen –  unsere Lebenswelt ist bereits heute geprägt von algorithmischer Entscheidungsfindung (ADM, für algorithmic decision-making), oft prominent diskutiert unter dem Schlagwort „Künstliche Intelligenz“ (KI).^[1]Unter „ADM-System“ wird ein umfassendes soziotechnologisches System verstanden, von der Entwicklung von Prozessen zur Datenerfassung bis hin zur automatisierten Handlung. Im Folgenden wird … Continue reading Unternehmen, aber zunehmend auch öffentliche Stellen, erkennen grosse Potentiale in der Verwendung solcher Systeme, von der Personalisierung des Angebots von Produkten und Dienstleistungen bis zur Effizienzsteigerung bei der Abwicklung von Massenverwaltungsaufgaben. ADM-Systeme breiten sich weltweit rasant aus. Unsere Gesellschaft ist automatisiert.

Das alles hat auch für das Recht Konsequenzen. Algorithmenbasierte Automatisierungsprozesse scheinen bestehende rechtliche Paradigmen zumindest herauszufordern. Die Interaktion zwischen Mensch und Maschine, die Konzepte von Verantwortlichkeit, Rechenschaft und Haftung auf den Kopf zu stellen scheint; die technologische Entwicklung und die dadurch bedingte dynamische Natur des Regulierungsobjekts; der virtuelle Raum mit seiner grenzüberschreitenden Natur, der den üblichen räumlichen Geltungsbereich von Rechtsnormen transzendiert; oder die auffallende Intransparenz beim Einsatz von ADM-Systemen, die eine demokratische Kontrolle erschwert – alle diese Aspekte werfen neue Fragen für Forschung, Gesetzgebung und Rechtsprechung auf, die angegangen werden müssen.

Dazu gehören Fragen zu den Risiken, die mit dem Einsatz von ADM-Systemen einhergehen: Wir haben typischerweise nicht nur wenig Einblick in ihre Funktionsweise (Black Box-Problematik), sondern auch wenig Informationen dazu, wo, von wem und wozu sie eingesetzt werden. Die Systeme können einerseits durch Verzerrungen (biases) in Trainingsdaten oder in ihren Modellen bestehende gesellschaftliche Diskriminierungsmuster übernehmen sowie verstärken, können aber andererseits auch darüber hinaus – also selbst wenn der Einfluss dieser Verzerrungen in Daten und Modell minimiert werden könnte – ungerechtfertige Ungleichbehandlungen hervorrufen und zementieren:^[2]Siehe unten, C.IV.3. Vor dem Hintergrund des gesellschaftlichen Kontextes, in dem sie angewendet werden, können sie beispielsweise mit sich selbst verstärkenden Rückkoppelungsschlaufen einhergehen. Weiter können ADM-Systeme Menschen in ihrer individuellen Selbstbestimmung befördern, indem sie Effizienzgewinn versprechen oder neue Handlungsoptionen eröffnen, können diese aber ebenso einschränken. Durch ihre prägende Rolle in der öffentlichen Sphäre können sie Teilhabemöglichkeiten sowohl erschaffen als auch reduzieren. Letzteres zeigt sich gerade am Beispiel der algorithmischen Steuerung von Online-Plattformen mit grosser – zunehmend auch öffentlich diskutierter – Deutlichkeit.

Vor dem Hintergrund dieser Risiken ist es zentral, Rahmenbedingungen für einen verantwortungsvollen Einsatz von ADM-Systemen zu schaffen. Während diese Governance hier in einem umfassenden Sinne verstanden wird und Massnahmen in verschiedensten Bereichen beinhalten muss, wird die rechtliche Regulierung zweifellos eine zentrale Dimension davon darstellen – eine Dimension, die im letzten Jahr auf den politischen Agenden weltweit an Bedeutung gewonnen hat. Am 21. April 2021 hat die Europäische Kommission ihren Entwurf für eine Verordnung zur Künstlichen Intelligenz^[3]Vorschlag für eine Verordnung des Europäischen Parlaments und des Rates zur Festlegung harmonisierter Vorschriften für Künstliche Intelligenz (Gesetz über Künstliche Intelligenz) und zur … Continue reading – der Draft „Artificial Intelligence Act“, im Folgenden der „KI-Verordnungsentwurf“ – vorgelegt, bei der es sich um die weltweit erste rechtlich bindende horizontale Regulierung von KI-Systemen handeln würde. Sie hat damit sowohl politisch ein Zeichen gesendet als auch substanziell einen Standard gesetzt.

Der KI-Verordnungsentwurf, der derzeit im Europäischen Parlament und im Rat der EU behandelt wird, soll im Folgenden näher erläutert sowie kritisch beurteilt werden. Anschliessend wird diskutiert, inwiefern die Verordnung für die Schweiz relevant würde und – darüber hinaus – welche Fragen sich für die Schweiz beim Umgang mit ADM-Systemen stellen. Ein Fazit schliesst diese Auslegeordnung ab.

Der Entwurf der KI-Verordnung

Die Form des Verordnungsentwurfs

Der KI-Verordnungsentwurf ist eines der jüngsten Resultate eines ganzen Pakets von Gesetzesvorschlägen und Initiativen der Europäischen Kommission, vorgelegt im Rahmen der europäischen Digitalstrategie. Nebst dem „Digital Markets Act“,^[4]Vorschlag für eine Verordnung des Europäischen Parlaments und des Rates über bestreitbare und faire Märkte im digitalen Sektor (Gesetz über digitale Märkte) vom 15. Dezember 2020, … Continue reading dem „Data Governance Act“,^[5]Vorschlag für eine Verordnung des Europäischen Parlaments und des Rates über europäische Daten-Governance (Daten-Governance-Gesetz) vom 25. November 2020, COM(2020) 767 final. der Maschinenrichtlinie^[6]Richtlinie (EU) des Europäischen Parlaments und des Rates vom 17. Mai 2006 über Maschinen und zur Änderung der Richtlinie 95/16/EG (Neufassung), ABl L 157 vom 9. Juni 2006, … Continue reading oder der angekündigten Revision der Produkthaftung in Bezug auf KI^[7]Richtlinie 85/374/EWG des Rates vom 25. Juli 1985 zur Angleichung der Rechts- und Verwaltungsvorschriften der Mitgliedstaaten über die Haftung für fehlerhafte Produkte, ABl L 210 vom … Continue reading gehört dazu auch der „Digital Services Act“,^[8]Vorschlag für eine Verordnung des Europäischen Parlaments und des Rates über einen Binnenmarkt für digitale Dienste (Gesetz über digitale Dienste) und zur Änderung der Richtlinie 2000/31/EG vom … Continue reading der seinem Geltungsbereich entsprechend ebenfalls zentral sein wird im Umgang mit algorithmischen Entscheiden – nämlich jenen, die von Online-Plattformen vorgenommen werden.

Mit Veröffentlichung des Entwurfs zur KI-Verordnung hat die EU-Kommission weltweit die Debatte rund um die Governance von KI allerdings nochmals deutlich vorangetrieben – auch wenn selbstverständlich in anderen Rechtssystemen, Institutionen und Netzwerken das Thema ebenfalls verfolgt wird. Exemplarisch seien hier beispielsweise die OECD Empfehlungen zu KI^[9]Recommendation of the Council on Artificial Intelligence by the OECD vom 22. Mai 2019, OECD/LEGAL/0449. oder die Empfehlungen zur Ethik von KI der UNESCO^[10]Recommendation on the Ethics of Artificial Intelligence by UNESCO General Conference vom 24. November 2021, 41 C/73. erwähnt. Zudem werden auch im Rahmen des Europarats derzeit Verhandlungen zu einem rechtlich bindenden Instrument zur Regulierung von KI vorbereitet, die voraussichtlich im Mai nächsten Jahres formell aufgenommen werden. Das „Ad Hoc Committee on Artificial Intelligence“ (CAHAI) war über die letzten zwei Jahre damit beauftragt, die Machbarkeit und mögliche Elemente eines rechtlichen Rahmens zu KI innerhalb des Europarats zu untersuchen, um einen Ausgangspunkt für die ministeriellen Verhandlungen zu schaffen.^[11]Die Autorin hat die Diskussionen als Vertreterin von AlgorithmWatch verfolgt, das als zivilgesellschaftliche Organisation Beobachterstatus im CAHAI innehatte. Hier ergeben sich trotz der unterschiedlichen Verankerung der rechtlichen Prozesse interessante Bezugspunkte zur KI-Verordnung der EU.

Dem KI-Verordnungsentwurf der EU ging ein Weissbuch voraus, das unter Mitwirkung einer hochrangigen Expertengruppe verfasst, im Februar 2020 publiziert und anschliessend einer öffentlichen Konsultation unterzogen wurde.^[12]Weissbuch der Europäischen Kommission Zur Künstlichen Intelligenz – ein europäisches Konzept für Exzellenz und Vertrauen vom 19. Februar 2020, COM(2020) 65 final. Der Verordnungsvorschlag ist ein Instrument des Binnenmarktes: Er stützt sich auf Art. 114 AEUV,^[13]Konsolidierte Fassung des Vertrags über die Arbeitsweise der Europäischen Union, ABl C 326 vom 26. Oktober 2012, 47 ff. der der Union die Kompetenz zur Rechtsangleichung mit Blick auf das Funktionieren des Binnenmarktes verleiht. Diesem Ansatz gemäss ist er entsprechend stark an der Logik von Normen zur Produktsicherheit orientiert, was sich auch in Text und Struktur deutlich niederschlägt.

Der Inhalt des Verordnungsentwurfs

Geltungsbereich

Als allererstes stellt sich die Frage nach dem sachlichen Geltungsbereich, insbesondere dem Regulierungsobjekt. Um die Verordnung möglichst zukunftstauglich zu halten, wird gemäss der Kommission eine möglichst technologieneutrale Definition gewählt, die sich im Wesentlichen auf die Definition der OECD stützt.^[14]Begründung 5.2.1; Art. 3(1) COM(2021) 206 final; vgl. OECD/LEGAL/0449. Zusätzlich verweist der KI-Verordnungsentwurf jedoch auch auf eine Reihe von technologischen Ansätzen, die einem System zugrunde liegen müssen, damit es von der Verordnung erfasst würde.^[15]„(a) Konzepte des maschinellen Lernens, mit beaufsichtigtem, unbeaufsichtigtem und bestärkendem Lernen unter Verwendung einer breiten Palette von Methoden, einschließlich des tiefen Lernens (Deep … Continue reading Diese Liste und damit die Definition scheinen sehr breit gefasst zu sein. Es wird sich jedoch im Detail weisen, ob und inwiefern dies tatsächlich der Fall sein wird.^[16]Siehe unten, C.III.

Gemäss Entwurf wäre die KI-Verordnung ratione personae insbesondere auf Anbieter·innen und Nutzer·innen von KI-Systemen anwendbar. Als „Anbieter“ werden dabei jene Akteure verstanden, die ein System entwickeln und in Verkehr bringen,^[17]Art. 3(2) COM(2021) 206 final. während unter „Nutzer“ diejenigen Stellen fallen, die ein System unter ihrer Verantwortung verwenden, wobei der persönliche, nicht-berufliche Bereich ausgenommen ist.^[18]Art. 3(4) COM(2021) 206 final. Weitere Bestimmungen gelten für Akteure, die direkt mit obigen in Verbindung stehen, wie „Bevollmächtigte“, „Importeure“ oder „Händler“. Konsument·innen, Endnutzer·innen und andere von Ergebnissen der Systeme betroffene natürliche oder juristische Personen sind ratione personae nicht erfasst und ihnen würden durch die Verordnung weder direkte Rechte noch Pflichten zugeschrieben.

Der räumliche Geltungsbereich des Verordnungsentwurfes wird in Art. 2(1) festgelegt. Ihre Geltung wäre ratione loci demnach gegeben, wenn (i) ein KI-System innerhalb der EU zur Anwendung kommt oder (ii) wenn „das vom System hervorgebrachte Ergebnis“ innerhalb der EU verwendet wird^[19]Art. 2(1) COM(2021) 206 final. – und bliebe damit unabhängig davon, wo sich Anbieter·innen oder Nutzer·innen der Systeme befinden. In anderen Worten: Auch in Drittstaaten können sie von der Reichweite der Verordnung erfasst werden. Dieser Ansatz der extraterritorialen Gesetzgebung folgt der Logik der „territorialen Extension“, wie man sie aus anderen Kontexten, etwa im Bereich des Wettbewerbsrechts, des Umweltschutzes oder der Privatsphäre von der EU kennt – prominent beispielsweise von der 2018 in Kraft getretenen Datenschutzgrundverordnung.^[20]Z.B. Verordnung (EU) 2016/679 des Europäischen Parlaments und des Rates vom 27. April 2016 zum Schutz natürlicher Personen bei der Verarbeitung personenbezogener Daten, zum freien Datenverkehr … Continue reading Die EU macht dabei gesetzliche Regelungen im Ausland anwendbar, wobei jedoch ein territorialer Bezugspunkt gegeben ist.^[21]Z.B. Scott Joanne, Extraterritoriality and Territorial Extension in EU Law, AJCL 2014, 90, 94 ff.; vgl. dazu auch Bradford Anu, Brussels Effect: How the European Union Rules the World, New York … Continue reading

Für Drittstaaten – insbesondere jene mit engem Bezug zum EU-Binnenmarkt, wie etwa die Schweiz – kann dies massive Auswirkungen haben: Auch Anbieter·innen und Nutzer·innen in der Schweiz würden in den oben genannten Fällen direkt der KI-Verordnung unterworfen werden. Aufgrund der Bedeutung des EU-Binnenmarktes wird dies voraussichtlich ein beachtlicher Teil der KI-Anbieter·innen in der Schweiz betreffen.

Der risikobasierte Ansatz

Zur Regulierung von KI-Systemen wählt die EU-Kommission einen risikobasierten Ansatz. Das heisst, sie klassifiziert KI-Systeme entsprechend dem Grad ihrer Risiken für Gesundheit, Sicherheit und Grundrechte, mit denen sie einhergehen. Es ergeben sich vier Risikokategorien: KI-Systeme mit unzulässigem Risiko; hohem Risiko; begrenztem Risiko; und minimalem Risiko.^[22]Die Terminologie wird erläutert unter <https://ec.europa.eu/info/strategy/priorities-2019-2024/europe-fit-digital-age/excellence-trust-artificial-intelligence_de>.

Als erstes werden in Art. 5 jene vier Praktiken erwähnt, die mit unzulässigen Risiken verbunden sind und entsprechend verboten werden sollen. Politisch wie medial derzeit im Scheinwerferlicht steht das Verbot der Verwendung von biometrischen Identifizierungssystemen zu Strafverfolgungszwecken im öffentlich zugänglichen Raum, bei denen die Identifikation in Echtzeit und aus der Ferne geschieht.^[23]Art. 5(1)d COM(2021) 206 final. Gleichzeitig wäre dieses Verbot mit einer Reihe von Ausnahmen verbunden, wenn nämlich die Verwendung der Systeme „unbedingt erforderlich“ ist für bestimmte festgesetzte Ziele, wie beispielsweise in Verbindung mit Straftaten, die einen bestimmten Schweregrad erreichen.^[24]Art. 5(1)d(i)-(iii) COM(2021) 206 final. Es gilt jedoch das Erfordernis der vorgängigen Genehmigung – von der allerdings in dringenden Fällen vorerst abgesehen werden kann –, wobei Notwendigkeit und Verhältnismässigkeit gegeben sein müssen.^[25]Art. 5(3) COM(2021) 206 final. Mitgliedstaaten können schliesslich die Erlaubnis zur eigentlich verbotenen Anwendung biometrischer Identifizierungssysteme im nationalen Recht festschreiben, wenn sie dabei die erwähnten Grenzen beachten.^[26]Art. 5(4) COM(2021) 206 final.

Bei der biometrischen Identifikation fällt nur die entsprechende Verwendung solcher Systeme unter den vom Verbot erfassten sachlichen Geltungsbereich.^[27]Zur Würdigung dieses Aspektes, siehe unten, C.IV.2. Anders ist dies bei den anderen drei mit unzulässigem Risiko klassifizierten Praktiken, bei denen jeweils „das Inverkehrbringen, die Inbetriebnahme oder die Verwendung“ der entsprechenden Systeme verboten werden soll. Dies umfasst einerseits KI-Systeme, die Personen durch unterschwellige Beeinflussung manipulieren^[28]Art. 5(1)a COM(2021) 206 final. oder bestimmte Vulnerabilitäten ausnutzen,^[29]Art. 5(1)b COM(2021) 206 final. und zwar in einer Weise, die den Betroffenen physischen oder psychischen Schaden zufügen kann, sowie andererseits die Verwendung von KI-basierten sogenannten „Social Scoring“ Systemen durch öffentliche Behörden.^[30]D.h. Systeme „zur Bewertung oder Klassifizierung der Vertrauenswürdigkeit natürlicher Personen über einen bestimmten Zeitraum auf der Grundlage ihres sozialen Verhaltens oder bekannter oder … Continue reading

Die zweite Kategorie umfasst Hochrisiko-KI-Systeme.^[31]Art. 6 ff. COM(2021) 206 final. Dazu gehören einerseits all jene Systeme, die ein von bestimmten anderen EU-Verordnungen erfasstes Produkt sind oder als Sicherheitskomponente in einem solchen Produkt eingesetzt werden, wenn dieses einer Konformitätsbewertung durch Dritte unterworfen ist.^[32]Art. 6(1) COM(2021) 206 final. Andererseits fallen bestimmte „stand-alone“ KI-Systeme aus den Bereichen biometrische Identifizierung und Kategorisierung, kritische Infrastrukturen, Bildung, Arbeitsplatz, Zugang zu Dienstleistungen, Strafverfolgung, Migration und Asyl sowie Rechtspflege und demokratische Prozesse in diese Kategorie.^[33]Art. 6 Anhang III COM(2021) 206 final.

Bei der Hochrisiko-Kategorie handelt es sich um das Kernstück des Verordnungsentwurfs. Er sieht für die entsprechenden Systeme bestimmte Anforderungen vor, die im Rahmen eines Risikomanagementsystems überwacht werden müssen, darunter zu Datenqualität und ‑governance, technischer Dokumentation und Aufzeichnung, Bereitstellung von Informationen, menschlicher Aufsicht sowie zu Genauigkeit, Robustheit und Sicherheit.^[34]Art. 8 ff. COM(2021) 206 final. Gemäss dem Ansatz des New Legislative Framework, auf dem der Verordnungsentwurf basiert, werden die Anbieter·innen von Hochrisiko-Systemen verpflichtet, im Rahmen einer Konformitätsbewertung selbst zu prüfen, dass die Systeme die erwähnten Anforderungen erfüllen, bevor sie diese auf den Markt bringen oder sie in Betrieb genommen werden.^[35]Für Systeme, die Sicherheitskomponenten von Produkten sind, die bereits durch entsprechende sektorielle Verordnungen reguliert und darin einer Konformitätsbewertung unterworfen sind, ist … Continue reading Wenn die Konformitätsbewertung erfüllt ist, wird dies mit der CE-Konformitätskennzeichnung ausgezeichnet,^[36]Art. 19, 43, 48, 49 COM(2021) 206 final. was Zugang zu und freie Bewegung auf dem EU-Binnenmarkt sicherstellt. Zudem muss das System von den Anbieter·innen in einer EU-weiten Datenbank eingetragen werden.^[37]Art. 51, 60 COM(2021) 206 final. Falls es zu einem späteren Zeitpunkt substanzielle Änderungen erfährt, muss die Bewertung erneut vorgenommen werden. Weiter unterliegen Anbieter·innen auch Pflichten zur Überwachung eines Systems nach seinem Inverkehrbringen.^[38]Art. 61 f. COM(2021) 206 final. Für Nutzer·innen, die KI-Systeme einsetzen, bestehen ebenfalls Pflichten, wenn auch deutlich weniger weitgehende. Dazu gehört, das System gemäss Instruktion zu verwenden, menschliche Aufsicht sicherzustellen oder Risiken kontinuierlich zu überwachen.^[39]Art. 29 COM(2021) 206 final.

Die dritte Kategorie des „begrenzten Risikos“ umfasst gemäss Verordnungsentwurf KI-Systeme, die mit natürlichen Personen interagieren (wie etwa Chatbots). Sie werden Transparenzpflichten unterworfen: Den Personen muss mitgeteilt werden, dass sie mit einem KI-System interagieren, wenn dies nicht aus dem Kontext offensichtlich wird. Eine Ausnahme gilt für Strafverfolgungszwecke. Spezifisch werden Informationspflichten für Systeme zur Emotionserkennung und biometrischen Kategorisierung sowie für „Deepfakes“, also manipulierte Bild‑, Ton- oder Videoinhalte, erwähnt.^[40]Art. 52 COM(2021) 206 final.

Als letzte Kategorie ergeben sich sodann implizit KI-Systeme mit „minimalem Risiko“, die vom Geltungsbereich der Verordnung ausgenommen wären. Gleichzeitig sollen Verhaltenskodizes gefördert werden, unter denen sich Anbieter·innen selbst verpflichten, die an Hochrisiko-Systeme gerichteten Anforderungen sowie weitere Anforderungen zu erfüllen.^[41]Art. 69 COM(2021) 206 final.

Gouvernanz und Durchsetzung

Bezüglich der Gouvernanzstruktur ist wichtig zu betonen, dass es sich bei der Konformitätsbewertung für Hochrisiko-Systeme um eine Selbsteinschätzung der Anbieter·innen handelt. Zudem ist vorgesehen, dass die Kommission Standardisierungsorganisationen damit beauftragen kann, harmonisierte Normen zur Erfüllung der erwähnten Anforderungen für Hochrisiko-KI-Systeme zu erstellen. Wenden Anbieter·innen harmonisierte Standards an, wird eine Konformität mit den Anforderungen der Verordnung vermutet.^[42]Art. 40 ff. COM(2021) 206 final.

Auf Mitgliedstaatsebene werden notifizierende Behörden geschaffen, die Konformitätsbewertungsstellen benennen, notifizieren und überwachen. Sobald letztere – es handelt sich dabei um von den Anbieter·innen unabhängige Akteure, d.h. klassischerweise um private Zertifizierungsunternehmen – notifiziert sind, sind sie berechtigt, Konformitätsbewertungsverfahren durchzuführen. Gleichzeitig bleibt die Bedeutung dieser notifizierten Stellen im Verordnungsentwurf gering: Ihr Einbezug ist nur für einen Hochrisikobereich vorgesehen, nämlich für Systeme zur biometrischen Identifizierung und Kategorisierung, und kann auch da ausgelassen werden, wenn harmonisierte Normen befolgt werden. Für alle anderen Hochrisikobereiche sind notifizierte Stellen nicht vorgesehen.^[43]Art. 40 ff., Art. 43(1) und (2) COM(2021) 206 final; vgl. Veale Michael/Borgesius Frederik Zuiderveen, Demystifying the Draft EU Artificial Intelligence Act: Analysing the good, the bad, and the … Continue reading

Als Gouvernanzstruktur ist auf europäischer Ebene vorgesehen, einen „Europäischen Ausschuss für künstliche Intelligenz“ (EAKI) zu schaffen, der die Kommission in der Umsetzung der Verordnung unterstützt.^[44]Art. 56 ff. COM(2021) 206 final. Auf nationaler Ebene werden zuständige Behörden geschaffen oder benannt, darunter die nationale Aufsichtsbehörde. Diese agiert auch als Marktüberwachungsbehörde und ist Teil des EAKI. Als Marktüberwachungsbehörde erhält sie Zugang zu Daten und Dokumentationen der Anbieter·innen, kann auf Verdacht eines bestehenden Risikos hin das System und seine Konformität mit der Verordnung überprüfen, Korrekturmassnahmen anordnen und – bei deren Nichtbefolgung – die Verwendung eines Systems einschränken oder unterbinden.^[45]Art. 59, 63 ff. COM(2021) 206 final.

Der Verordnungsentwurf enthält zudem Massnahmen zur Innovationsförderung, inklusive der Möglichkeit zur Schaffung von KI-Reallaboren („Sandboxes“) oder der Förderung von kleineren Unternehmen und Start-ups.^[46]Art. 53 ff. COM(2021) 206 final.

Zur Durchsetzung der Verordnung können gemäss Entwurf Sanktionen ergriffen werden. Bei Verstössen gegen die in Art. 5 gelisteten Verbote oder gegen Anforderungen der Hochrisiko-Systeme bezüglich Datengouvernanz sind Geldbussen von bis zu 30 Millionen Euro oder 6% des weltweiten Jahresumsatzes – je nachdem, welche Summe höher ist – vorgesehen. Bei weiteren Verstössen sind abgestuft geringere, aber unter Umständen ebenfalls substanzielle Geldstrafen vorgesehen.^[47]Art. 71 COM(2021) 206 final.

Würdigung

Vorbemerkungen

Der Vorschlag der Kommission rückt die Thematik zweifellos auf den politischen Agenden weltweit um einige Positionen nach oben und entfacht damit die Debatte zur Governance von KI-Systemen auch ausserhalb des engsten Expert·innenkreises. Zudem setzt sie auch substanziell einen Standard, der die Debatten massgeblich prägen wird: Entscheidungsträger·innen aus Drittstaaten oder internationalen Organisationen werden sich am von der EU gesetzten Standard als Ausgangspunkt orientieren beziehungsweise sich rechtfertigen, wenn sie von diesem abweichen. Dies zeigt sich beispielhaft bereits jetzt in den entsprechenden Prozessen im Europarat, ist aber auch in der Schweiz zu erwarten.

Im Folgenden soll eine Würdigung einzelner Aspekte des KI-Verordnungsentwurfs vorgenommen werden, ohne dass diese Anspruch auf Vollständigkeit erhebt. Sie gibt die Position der Autorin wieder, die von ihr aber gleichzeitig auch als politische Forderungen im Rahmen ihrer Tätigkeit bei AlgorithmWatch, einer zivilgesellschaftlichen Forschungs- und Advocacy-Organisation mit Fokus auf den Einsatz von ADM-Systemen, vertreten werden.^[48]Zur der folgenden Würdigung zugrundeliegenden Position zum KI-Verordnungsentwurf siehe AlgorithmWatch, Submission to the European Commission’s Consultation on the Draft Artificial Intelligence … Continue reading

Auch vor diesem Hintergrund scheint es wichtig, vorab transparent zu machen, auf welchen Prinzipien die folgende Würdigung basiert. Trotz der rechtlichen Herausforderungen, die der Einsatz von ADM-Systemen mit sich bringt, soll an dieser Stelle deutlich gemacht werden, dass auch er sich an grundsätzlichen Werten orientieren muss, auf die wir uns als demokratische Gesellschaften geeinigt haben: An individueller Autonomie und Freiheit, Gerechtigkeit, Teilhabe und Gemeinwohl, auf Normebene insbesondere reflektiert in Grundrechten und weiteren basalen – oft auf Verfassungsebene geschützten – demokratischen und rechtsstaatlichen Prinzipien. Ziel muss es sein, dass dieser Einsatz tatsächlich Individuen und Gesellschaft einen Nutzen bringt – dass er also tatsächlich individuelle Autonomie erhöht, statt sie zu reduzieren; dass er Teilnahmemöglichkeiten eröffnet oder befördert, statt sie einzuschränken; und dass dieser Nutzen gerecht verteilt wird. Dass dies auch in Europa alles andere als Selbstverständlichkeiten sind, zeigt sich in Dokumentationen zum Einsatz von ADM-Systemen.^[49]Chiusi Fabio et al. (Hrsg.), Automating Society Report, Berlin/Gütersloh 2020, 5 ff., abrufbar unter <https://automatingsociety.algorithmwatch.org/>.

Der Regulierungsansatz

Der Ansatz der Verordnung als Instrument der Binnenmarktregulierung könnte bereits als Quelle einer gewissen Spannung gedeutet werden: Das verfolgte Ziel, der Schutz von Unionswerten, Grundrechten, Gesundheit und Sicherheit, soll mit dem Mittel der Harmonisierung des digitalen Binnenmarkts erreicht werden – der gleichzeitig auch Rechtssicherheit gewährleisten und Innovation ermöglichen soll.^[50]Begründung, Kap. 1.1; Erwägung 1 COM(2021) 206 final.

Erstens muss es bei jeglichen Regulierungsansätzen im Bereich der neuen Technologien genau um dieses Anliegen gehen, nämlich ihren Einsatz sowie die Innovationsförderung mit Grundrechtsschutz in Einklang zu bringen. Gleichzeitig zeigt sich in der Praxis das Ausmass dieses Spannungsverhältnisses deutlich. Die KI-Verordnung versucht, mittels eines Binnenmarktinstruments Grundrechte zu schützen; ob dies aus einer Grundrechtslogik heraus überhaupt ein effektives Regulierungsmittel darstellen kann, kann zumindest hinterfragt werden. Zweitens orientiert sich der Ansatz an jenen zur Regulierung der Produktsicherheit und setzt somit stark auf technische Lösungen, Standardisierungsprozesse und Selbsteinschätzungen. Ob diese in Verbindung mit KI-Systemen, die wesentliche grundrechtliche Problemdimensionen mit sich bringen können, effektiven Schutz zu leisten vermögen, wird sich weisen. Drittens machen der gewählte Regulierungsansatz sowie die Komplexität des Vorschlages diesen für Expert·innen und zivilgesellschaftliche Organisationen, die im Bereich von KI und/oder des Grundrechtsschutzes tätig sind (aber nicht besondere Expertise im Bereich der Produktsicherheit oder der Binnenmarktregulierung aufweisen), wenig zugänglich. Dies kann zur Folge haben, dass die Inklusion wichtiger Stimmen untergraben wird – im Gesetzgebungsverfahren, aber darüber hinaus beispielsweise auch in den für diesen Regulierungsansatz wichtigen Standardisierungsprozessen, denen ja der Entwurf ein grosses Gewicht zuschreibt, indem die Verwendung von Standards eine Konformitätsvermutung zur Folge haben kann. Standardisierungsprozesse sind aus formalen und praktischen Gründen nicht einfach zugänglich für die Zivilgesellschaft, sondern geprägt von Stimmen aus dem Privatsektor.^[51]Dazu Veale/Borgesius, Rz. 50 ff. Gerade wenn es um Standards geht, die schlussendlich einen Beitrag zum Ziel des Grundrechtsschutzes leisten sollen, ist es zentral, dass nicht nur technische Expertise, sondern auch Expertise im Bereich der Grundrechte einbezogen wird.

Dies ist ein Aspekt, der insbesondere problematisch erscheint, da er das Ungleichgewicht der Einflussmöglichkeiten zugunsten von grossen Technologieunternehmen verschärft: Diese haben unbestritten die Ressourcen, ganze Teams von Jurist·innen zu beschäftigen und sich so bis in die rechtlichen Detailfragen durch engagiertes Lobbying oder in Standardisierungsprozesse einzubringen, was vielen zivilgesellschaftlichen und wissenschaftlichen Anliegen verwehrt bleiben wird.

Der Geltungsbereich

Die Frage nach dem sachlichen Geltungsbereich des KI-Verordnungsentwurfs und der Eignung der gewählten Definition ist verbunden mit grundsätzlichen, über den Entwurf herausgehenden Fragen zum Begriff „Künstliche Intelligenz“, der sich in der öffentlich-politischen Debatte zum Schlagwort entwickelt hat, dessen Unschärfe jedoch für die rechtliche Regulierung Schwierigkeiten mit sich bringt. Wenn es um grundrechtliche Risiken geht, wäre es demnach angemessener, den Fokus auf jene Automatisierungsprozesse zu legen, die in ihren Auswirkungen auf Individuen und Gesellschaft Risikosignale aufweisen. In anderen Worten: Das Kriterium zur Bestimmung des sachlichen Geltungsbereichs sollte in diesen Auswirkungen liegen – und nicht in der technologischen Art und Weise, wie diese Auswirkungen zustande gekommen sind. Aus dieser Perspektive bietet der Begriff der algorithmischen Entscheidungsfindung (ADM) Vorteile gegenüber dem unscharfen Konzept der „KI“. ADM-Systeme werden nach diesem Verständnis umfassend als soziotechnologische Systeme betrachtet, wobei der Fokus auf den Entscheidungen der Systeme und ihrer Relevanz für Individuum und Gesellschaft liegt. Dies berücksichtigt zwangsläufig den gesellschaftlichen Kontext mit, in dem Systeme eingesetzt werden, was für die Risikobewertung unerlässlich ist.^[52]Siehe oben, A. Eine Abstützung auf einer expliziten Liste verschiedener Technologien, wie sie der KI-Verordnungsentwurf vorschlägt – auch wenn diese mittels delegierten Rechtsakten von der Kommission angepasst werden kann – scheint darüber hinaus auch der Eindeutigkeit des sachlichen Geltungsbereiches nicht dienlich.^[53]Vgl. dazu etwa Townsend Bev, Decoding the Proposed European Union Artificial Intelligence Act, insights 2021, 3, abrufbar unter <https://www.asil.org/insights/volume/25/issue/20>; Smuha … Continue reading Es ist absehbar, dass der Nachweis der Definitionselemente in der Praxis Schwierigkeiten – und mögliche Schlupflöcher – mit sich bringt. Nichtsdestotrotz ist grundsätzlich die breite Auffassung des Begriffs „KI“ und damit des sachlichen Geltungsbereichs der Verordnung zu begrüssen. Es zeichnet sich jedoch ab, dass diese Breite in den nun laufenden Verhandlungen umstritten sein wird, so dass davon auszugehen ist, dass der Geltungsbereich in dieser Hinsicht eher eingeschränkt wird.

Hinsichtlich des Geltungsbereichs ratione loci wird deutlich, dass die oben beschriebene extraterritoriale Wirkung der Verordnung wesentliche Nebeneffekte mit sich bringen würde: Erstens ist damit zu rechnen, dass viele Anbieter·innen und Nutzer·innen, die sowohl auf dem schweizerischen als auch dem europäischen Markt tätig sind, ihre KI-Systeme der KI-Verordnung konform ausgestalten werden, auch wenn diese in der Schweiz zur Anwendung kommen – ganz einfach, da es unmöglich oder mit einem unverhältnismässigen Aufwand verbunden wäre, zwischen Anwendungen in der EU und der Schweiz zu differenzieren. Zweitens ist nicht auszuschliessen, dass private Anbieter·innen Druck auf den schweizerischen Gesetzgeber ausüben werden, die Rechtslage der EU-Regelung konform und äquivalent auszugestalten. All dies hat, drittens, zur Folge, dass das Inkrafttreten der KI-Verordnung in der EU auch für die Schweizer Bevölkerung Nebeneffekte mit sich bringen könnte: Falls die KI-Verordnung sich tatsächlich als imstande erweist, grundrechtlichen Schutz zu gewährleisten, werden auch Endnutzer·innen in der Schweiz teilweise in den Genuss dieses Schutzes kommen.

Aus einer grundrechtlichen Perspektive ist prinzipiell zu begrüssen, dass mit diesem Fokus auf den Ort der Anwendung von Systemen eine kohärente Regulierung ermöglicht wird, die einerseits auf dem EU-Territorium Schlupflöcher vermeidet und andererseits in Drittstaaten das Schutzniveau mitprägt. Gleichzeitig hat dieser Fokus gewisse andere Schlupflöcher zur Folge, wie sich in Verbindung mit den im Verordnungsentwurf vorgesehenen Verboten zeigen wird.

Der risikobasierte Ansatz und die vier Risikokategorien

Die Kategorisierung anhand Risikolevels

Die Anerkennung, dass der Einsatz von KI-Systemen potenziell grossen Nutzen mit sich bringt, aber gleichzeitig mit Risiken verbunden sein kann, ist grundsätzlich sehr begrüssenswert. Gleichzeitig kann mit guten Gründen hinterfragt werden, ob eine ex ante Kategorisierung von Systemen in bestimmte Risikoklassen diesem Umstand gebührend Rechnung trägt. Die Risiken, die mit einem System einhergehen, hängen nämlich wesentlich ab von seiner Verwendung zu einem bestimmten Zweck und in einem bestimmten Kontext. Die Idee, KI-Systeme a priori einer Risikokategorie zuzuordnen ist insofern problematisch, als dadurch genau diese Faktoren – Zweck und Kontext der Anwendung eines Systems – nicht im Einzelfall berücksichtigt werden. Erst eine individuelle Folgenabschätzung kann überzeugend aufzeigen, mit welchen (und welchem Grad an) potenziellen Risiken ein bestimmter Einsatz verbunden ist. Um die Praktikabilität eines solchen Ansatzes zu gewährleisten, bietet sich ein zweistufiges Verfahren an: In einem ersten Schritt soll mit verhältnismässig geringem Aufwand eine Triage erfolgen, die es erlaubt, Risikosignale zu erkennen. Je mehr Risikosignale bezüglich des Einsatzes eines Systems erkannt werden, desto umfassender werden die Transparenzpflichten, denen die entsprechenden Akteure unterworfen werden.^[54]Loi Michele et al., Automated Decision-Making Systems in the Public Sector: An Impact Assessment Tool for Public Authorities, Berlin/Zürich 2021, abrufbar unter … Continue reading

Eine weitere Folge der KI-Verordnung und ihres risikobasierten Ansatzes wäre, dass, indem sie gewisse Systeme als Hochrisiko definiert, sie diese zwar Transparenzpflichten unterwirft, sie aber gleichzeitig auch legalisiert und legitimiert. Viele dieser Systeme und ihre Verwendungen waren aber noch nicht im eigentlichen Sinne Objekt einer gesellschaftlichen Debatte. In diesem Sinne greift Anhang III des Verordnungsentwurfs der demokratischen Auseinandersetzung dazu, ob und bis zu welchem Grad wir die Verwendung von KI-basierten Systemen in bestimmten Kontexten überhaupt zulassen wollen, vor.

Gleichzeitig ist davon auszugehen, dass die Risikoklassifizierung anhand der vier Stufen in der endgültigen Fassung der Verordnung so oder ähnlich enthalten bleiben wird. Vor diesem Hintergrund müsste zumindest sichergestellt werden, dass für alle Kategorien konsistente Aktualisierungsmechanismen vorhanden sind, um die Liste der jeweiligen Systeme um neue Fälle zu ergänzen. Bisher ist nur eine Aktualisierung der Liste der Hochrisiko-Systeme vorgesehen, die die Kommission mittels delegierter Rechtsakte vornehmen kann – und auch da betrifft dies nur die Liste der einzelnen Systeme, nicht aber die Liste der acht Hochrisikobereiche. Für das Update dieser Hochrisikobereiche sowie aller anderen Kategorien (Systeme mit unakzeptablem Risiko; Systeme mit begrenztem Risiko) ist im Verordnungsentwurf selbst bisher kein Aktualisierungsmechanismus vorgesehen, so dass eine Aktualisierung nur durch eine Änderung der Verordnung an sich vorgenommen werden könnte. Dies widerspricht zudem dem Anspruch der Verordnung, zukunftstauglich gestaltet zu sein.

Verbotene KI-Systeme

Die im Verordnungsentwurf vorgesehenen Verbote werfen eine Reihe von Fragen auf. Es bleibt beispielsweise offen, wie das Erfordernis des „psychischen oder physischen Schadens“ in Art. 5(1)a und 5(1)b aus einer Grundrechtsperspektive gerechtfertigt werden kann. Aus dieser Perspektive entscheidend ist die Tatsache des Grundrechtseingriffs und nicht der sich materialisierende Schaden. Ähnlich fragwürdig scheint aus dieser Perspektive, dass das Verbot von manipulativen KI-Systemen in Art. 5(1)b begrenzt bleibt auf Systeme, die Personen aufgrund ihres Alters oder ihrer körperlichen oder geistigen Beeinträchtigung ausnutzen, und damit weitere Dimensionen von „Vulnerabilität“ unberücksichtigt bleiben.

Schliesslich bleibt unklar, als wie effektiv sich das Verbot zur Verwendung biometrischer Erkennungssysteme zu Strafverfolgungszwecken in Art. 5(1)d in der Praxis erweisen wird. Die Notwendigkeit, beim Einsatz solcher Systeme im öffentlich zugänglichen Raum rote Linien zu ziehen, ergibt sich, da sie eine Massenüberwachung oder diskriminierend gezielte Überwachung ermöglichen, die mit der Idee einer demokratisch organisierten Gesellschaft in Widerspruch stehen: Wenn Personen im öffentlichen Raum erfasst, identifiziert und verfolgt werden können, verletzt dies nicht nur an sich Grundrechte wie das Recht auf Privatsphäre, inklusive der informationellen Selbstbestimmung,^[55]Vgl. Stellungnahme des Bundesrates vom 11. August 2021 zu Interpellation 21.3580 vom 5. Mai 2021, Glättli Balthasar, abrufbar unter  … Continue reading sondern wird auch abschreckende Effekte („chilling effects“^[56]EGMR, Entscheidung vom 16. Dezember 1982 in der Rechtssache 9228/80, Rz. 1.) haben auf das Wahrnehmen der Rechte auf Meinungsäusserungs- oder Versammlungsfreiheit.

Die Begrenzung von Art. 5(1)d auf Strafverfolgungszwecke einerseits und Fern- und Echtzeitsysteme^[57]So ist es zum Beispiel fragwürdig, inwiefern eine nachträgliche Identifizierung von Personen anhand biometrischer Erkennungssysteme (z.B. basierend auf vorhandenen Videoaufnahmen) aus … Continue reading andererseits sowie die weitgehenden Ausnahme­regelungen werfen zumindest Fragen auf, ob dieses Verbot alle Formen von grundrechtsinkompatibler Massenüberwachung verhindern kann. Inwiefern beispielsweise eine nachträgliche Identifizierung von Demonstrationsteilnehmenden mittels Gesichtserkennungstechnologie und auf Basis vorhandener Videodaten aus grundrechtlicher Perspektive weniger problematisch sein soll als ein Echtzeiteinsatz, bleibt unklar. Mit Blick auf aktuelle Rechtsentwicklungen fragwürdig scheint zudem der Fokus dieses Verbots auf die Verwendung der Systeme, wo sich eine Diskrepanz zu den weiteren drei verbotenen Systemen in Art. 5(1)a‑c zeigt. Während diese Beschränkung in Art. 5(1)d mit Blick auf die Liste der Ausnahmen und Erfordernisse in Art. 5(1)d(i‑iii) und 5(2‑4) angezeigt ist, kann gleichzeitig kritisiert werden, dass nicht in einem zusätzlichen Unterabsatz auch das Inverkehrbringen und die Inbetriebnahme dem Verbot unterworfen werden. Damit werden Anbieter·innen von biometrischen Erkennungssystemen insofern vom Verbot ausgenommen, als diesen den Raum gelassen wird, ihre Systeme weiterhin zu entwickeln, zu verkaufen und zu exportieren. Wiederum zeigt sich ein gewisses Spannungsverhältnis zu einem konsistenten Grundrechtsschutz, da so der Einsatz von in der EU entwickelten biometrischen Erkennungssystemen zu Strafverfolgungszwecken in Drittstatten – wie er innerhalb der EU verboten wäre – weiterhin möglich bleibt. Hier droht ein extraterritoriales grundrechtliches Schutzvakuum.

KI-Systeme mit hohem Risiko

Die Pflichten, denen Hochrisiko-Systeme unterworfen würden, sind in dem Sinne begrüssenswert, da sie Transparenz schaffen, was im Lichte der eingangs erwähnten Black Box-Problematik zentral erscheint.^[58]Siehe oben, A. Lücken zeigen sich jedoch bei den Pflichten, denen die Nutzer·innen der Systeme unterworfen würden. Wie oben ausgeführt ist es nicht in erster Linie eine spezifische Technologie, die mit Risiken einhergeht, sondern die Verwendung dieser Technologie in einem bestimmten Kontext und zu einem bestimmten Zweck. Diese Faktoren hängen jedoch in erster Linie von den Unternehmen oder Behörden ab, die diese einsetzen – dem „Nutzer“, nach der Terminologie des KI-Verordnungsentwurfs. Um diesem Umstand Rechnung zu tragen, wäre es demnach notwendig, diese Nutzer·innen stärker in die Pflicht zu nehmen: einerseits durch eine verpflichtende Folgenabschätzung, die die Risiken des Einsatzes eines Systems beurteilt, und andererseits, indem Transparenzanforderungen auf Nutzer·innen ausgeweitet würden, inklusive einer Nachweispflicht zum Einsatz eines KI-Systems in der EU-weiten Datenbank.

Weiter bietet sich eine punktuelle Ausweitung der im KI-Verordnungsentwurf vorgesehenen Transparenzanforderungen an, beispielsweise aus Nachhaltigkeitsperspektive in Hinblick auf den Ressourcenverbrauch von KI-Systemen – unabhängig von ihrem Risikolevel.

Gleichzeitig ist wichtig zu betonen, dass Transparenz notwendige, aber nie hinreichende Bedingung sein kann auf dem Weg zu einem verantwortungsvollen Einsatz von KI-Systemen. Um das zentrale Ziel des Grundrechtsschutzes zu erreichen, braucht es zusätzlich Mechanismen, anhand derer Diskriminierungsfreiheit und andere Dimensionen von Gerechtigkeit sichergestellt und Verantwortung und Rechenschaftspflichten zugeschrieben werden können. Ob dies im Rahmen dieser KI-Verordnung überhaupt sinnvoll gemacht werden kann oder ob es dafür ergänzende Rechtsakte, möglicherweise in anderen Rechtsbereichen, benötigt, kann diskutiert werden. Eine wichtige, wenn auch nicht ausreichende^[59]Siehe unten, C.V., Ergänzungsmöglichkeit bieten beispielsweise die demnächst erwarteten Vorschläge der EU-Kommission zu Haftungsfragen bei KI-Systemen, unter anderem im Zusammenhang mit der geplanten Revision der Produkthaftungsrichtlinie.^[60]Siehe oben, Fn. 7.

Sicher ist, dass die Erfüllung der im KI-Verordnungsentwurf festgelegten Transparenzpflichten nicht verhindern wird, dass Systeme so eingesetzt werden, dass sie diskriminierende Wirkung entfalten oder andere Arten von ungerechtfertigten Ungleichbehandlungen mit sich bringen. Die einzigen Hebel, die der Verordnungsentwurf an dieser Stelle ansetzen könnte, sind die Erfordernisse bezüglich Risikomanagement^[61]Art. 9 COM(2021) 206 final. und Datenqualität^[62]Art. 10 COM(2021) 206 final.. Es zeigt sich jedoch, dass ein enger Fokus auf eine Verzerrung (bias) in den verwendeten Daten der vielschichtigen Weise, in der KI-Systeme zu Ungerechtigkeiten beitragen können, nicht Rechnung trägt: Diese können einerseits auch durch die zugrundeliegenden (von Menschen gemachten) Entscheidungs- und Interpretationsmodelle hervorgerufen werden, andererseits entspringen sie darüber hinaus oft dem gesellschaftlichen Kontext, in dem das System eingesetzt wird: So kann ein System mit sich selbst verstärkenden Rückkoppelungsschlaufen einhergehen, die nicht durch einen engen Fokus auf die Verbesserung der Datenqualität verhindert werden können. Massnahmen auf technologischer Ebene können zwar notwendig sein, sind aber nicht hinreichend, wenn es um Anforderungen hinsichtlich Nicht-Diskriminierung und Gerechtigkeit von ADM-Systemen geht.^[63]Balayn Agathe/Gürses Seda, Beyond Debiasing: Regulating AI and its Inequalities, European Digital Rights (Hrsg.), Brussels 2021, abrufbar unter … Continue reading

Die Perspektive der Grundrechtsträger·innen

Aus einer grundrechtlichen Perspektive erscheint besonders irritierend, dass der KI-Verordnungsentwurf zwar grundrechtliche Ziele verfolgt, allerdings die Träger·innen dieser Grundrechte – also die Personen, deren Rechte von KI-Systemen potenziell berührt werden – unerwähnt bleiben: Der Entwurf schreibt ihnen weder prozedurale noch substanzielle Rechte zu.^[64]Diese Lücken werden denn auch in verschiedenen Stellungnahmen kritisiert, vgl. etwa Smuha et al., 44 ff., 50 ff. Um Individuen vor negativen Auswirkungen von KI-Systemen zu schützen – das erklärte Ziel des Verordnungsentwurfs – benötigen sie einerseits Zugang zu Rechtsmitteln, um sich individuell oder kollektiv zur Wehr zu setzen und Wiedergutmachung zu erwirken. Die Möglichkeit, rechtliche Mittel zu ergreifen, setzt wiederum voraus, dass auch gegenüber Betroffenen Transparenz gewährt wird: Sie benötigen beispielsweise Zugang zu Information über eine von einem KI-System getroffene Entscheidung, die sie betrifft, inklusive einer Erklärung des grundsätzlichen Entscheidungsprozesses. Weiter scheint es angezeigt, dass auch Individuen und ihre Vertreter·innen die Möglichkeit haben, bei nationalen Aufsichtsbehörden Beschwerde einzureichen und dadurch Untersuchungen auszulösen. Andererseits fehlt im KI-Verordnungsentwurf auch das substanzielle Recht, einem KI-System nicht unterworfen zu sein, das mit einem unakzeptablen Risiko einhergeht oder das die Erfordernisse der Verordnung nicht erfüllt.

In dieser Hinsicht zeigt sich denn auch eine Diskrepanz zur Datenschutzgrundverordnung, die eine Reihe von Rechten für Individuen vorsieht, wenn deren Daten bearbeitet werden.^[65]Art. 12 ff. Verordnung (EU) 2016/679; Smuha et al., 50 ff. Der derzeitige KI-Verordnungsentwurf weist hier wesentliche Lücken auf.

Durchsetzung

Zentral für die Wirksamkeit der KI-Verordnung in der Praxis wird sein, dass Durchsetzungsstrukturen vorhanden und sinnvoll ausgestaltet sind. Die Abstützung auf die Selbsteinschätzung der Anbieter·innen, die nur moderate Bedeutung von notifizierten Stellen und die Unklarheit bezüglich Kompetenzen und Zuständigkeiten – all dies sind Aspekte, bei welchen die Gesetzgeber·innen nun die Möglichkeit haben, Verbesserungen einzuführen. Eine besondere Bedeutung kommt in diesem Zusammenhang auch den nationalen Aufsichtsbehörden zu: Erstens empfiehlt es sich, diese mit umfassenden Aufsichts- und Initiativbefugnissen auszustatten und, wie oben erwähnt, Anlaufstellen und Beschwerdemechanismen für betroffene natürliche oder juristische Personen sicherzustellen. Zweitens sieht der Entwurf zwar explizit vor, dass „die zuständigen nationalen Behörden mit angemessenen finanziellen und personellen Ressourcen ausgestattet werden“^[66]Art. 59(4) COM(2021) 206 final. und verweist dabei auch auf die notwendige Expertise. Gleichzeitig wird in seiner Begründung ausgeführt, dass dafür eine bis 25 Vollzeitstellen pro Mitgliedstaat vorgesehen wären.^[67]Begründung, Kap. 4 COM(2021) 206 final. Um die Aufgaben einer sinnvollen und umfassenden Aufsicht wahrzunehmen, ist dies deutlich ungenügend.  Nicht zuletzt die Herausforderungen im Zusammenhang mit der Umsetzung der Datenschutzgrundverordnung^[68]Verordnung (EU) 2016/679. haben gezeigt, dass es sich lohnt, dies mit der entsprechenden Sorgfalt anzugehen.

Abschliessend lässt sich sagen, dass die EU-Kommission mit der KI-Verordnung eine horizontale Regulierung mit nicht zu unterschätzender Ausstrahlkraft vorgeschlagen hat. Sie enthält wichtige Hebel, um die Transparenz zu risikobehafteten KI-Systemen zu fördern, was grundsätzlich zu begrüssen und anzuerkennen ist. Gleichzeitig scheint, dass ihr Ansatz, Grundrechtsschutz via Binnenmarktregulierung, Selbsteinschätzung und Transparenzpflichten sicherzustellen, verschiedene Spannungsverhältnisse mit sich bringt, die Fragen bezüglich der Wirksamkeit der Regulierung in der Praxis aufwerfen.

Das Narrativ der EU-Kommission, einen Rahmen für den Einsatz von KI zu schaffen, dem die Menschen vertrauen, scheint noch immer geprägt von der impliziten Vorstellung, dass das Vertrauen der Bevölkerung Mittel zum Zweck ist, um Innovation zu befördern. Innovation ist essenziell für unsere Gesellschaft – doch sie ist kein Zweck an sich. Auch Innovation soll letztlich der Menschheit dienen. Entsprechend kann das Ziel, das Vertrauen der Menschen zu erhöhen, nur darüber zu erreichen sein, dass der Einsatz neuer Technologien eben vertrauenswürdig gestaltet wird. Die Pfeiler, an denen sich Innovation und die Verwendung neuer Technologien zu orientieren haben, sind jene, auf die wir uns als Gesellschaft geeinigt haben: Demokratie, Grundrechte, Rechtsstaatlichkeit.

Auswirkungen auf die Schweiz

Wie im vorhergehenden Kapitel erwähnt, würde die KI-Verordnung direkte extraterritoriale Wirkung entfalten: Anbieter·innen und Nutzer·innen in der Schweiz wären an sie gebunden, wenn sie ihre Systeme in der EU anbieten oder das Ergebnis ihrer Systeme in der EU verwendet wird. Während es sich bei Anbieter·innen regelmässig um private Unternehmen handeln wird, könnten als Nutzer·innen nebst privaten auch öffentliche Stellen davon erfasst werden – nämlich dann, wenn sie Systeme einsetzen, deren Ergebnisse innerhalb der EU verwendet würden. Denkbar ist beispielsweise ein Chatbot, der auf einer Website der Schweizer Bundesverwaltung von in der EU wohnhaften Auslandschweizer·innen zu Informationszwecken genutzt würde – auch dieser müsste demnach zukünftig die Transparenzpflichten gemäss Art. 52(1) KI-Verordnungsentwurf erfüllen. Eine Ausnahme sieht der Entwurf vor für Behörden, die KI-Systeme nutzen, wenn dies im Rahmen eines Übereinkommens mit der EU oder einem ihrer Mitgliedstaaten im Bereich Strafverfolgung und Justiz geschieht.^[69]Art. 2(4) COM(2021) 206 final. Dies würde etwa eine Ausnahme bedeuten für schweizerische Behörden, die im Rahmen des Übereinkommens mit Europol KI-Systeme einsetzen.

Nebst diesen direkten rechtlichen extraterritorialen Auswirkungen lässt sich jedoch bereits jetzt feststellen, dass der Vorschlag der EU auch einen Einfluss auf politische Debatten und Prozesse in der Schweiz haben wird. Die Schweiz ist aufgerufen, sich zur Problematik zu positionieren – einerseits, weil es angezeigt ist, Rahmenbedingungen für den verantwortungsvollen Umgang mit KI zu schaffen. Die Verwendung von KI-Systemen wirft neue Fragen auf, kann mit Risiken für individuelle Autonomie, Gerechtigkeit und Gemeinwohl einhergehen und scheint punktuell bestehende rechtliche Konzepte zumindest herauszufordern. Eine reflektierte und evidenzbasierte Debatte, wie wir diesen Einsatz gestalten wollen und wie wir ihn so gestalten können, dass er tatsächlich zum Nutzen der Menschen geschieht, ist unabdingbar. Dies beinhaltet sowohl ein breites gesellschaftliches Engagement, das den verschiedensten Teilen der Gesellschaft zugänglich ist, als auch den politischen Aufruf an den Gesetzgeber, aktiv zu werden. Andererseits wird die Schweiz von der EU-Rechtssetzung geprägt, ist eng mit dem EU-Binnenmarkt verknüpft und vom Marktzugang abhängig. Auch wenn dies nicht bedeutet, dass die Schweiz die EU-Regeln nachbilden muss, wird sich mit Inkrafttreten der KI-Verordnung – womit frühestens 2024 zu rechnen ist – der Handlungsbedarf zweifellos noch verstärken.

Vor diesem Hintergrund ist es angezeigt, die Reflektion und die Arbeit dazu jetzt aufzunehmen. Umso bedauerlicher scheint es, dass der Bundesrat bisher zuwartet, auch wenn ein proaktiverer Ansatz von parlamentarischer Seite bereits eingefordert wird.^[70]Vgl. dazu Stellungnahme des Bundesrates vom 25. August 2021 zu Motion 21.3676 vom 10. Juni 2021, Bellaiche Judith, abrufbar unter  … Continue reading

Das bedeutet gleichzeitig nicht, dass die Schweiz aufgefordert ist, es der EU gleich zu tun. Eine horizontale Regulierung von KI im Sinne des EU-Vorschlags bringt gleichzeitig das Risiko mit sich, dass zu wenig sorgfältig auf den Kontext eines Systems eingegangen und der Blick auf den grösseren Zusammenhang verschleiert wird. Die Verwendungsweise von KI-Systemen variiert enorm, von der Steuerung von Laufbändern in Fabriken bis hin zur Vergabe von Sozialleistungen. Es kann mit guten Gründen hinterfragt werden, ob im Lichte dieser enormen Varietät ein horizontaler Regulierungsansatz geeignet erscheint.

Die Alternative ist, da rechtsetzend tätig zu werden, wo sich rechtliche Lücken zeigen. Führende Schweizer Rechtswissenschaftler·innen haben im Detail analysiert und aufgezeigt, wo diese Lücken bestehen und wie sie zu schliessen wären.^[71]Braun Binder Nadja et al., Künstliche Intelligenz: Handlungsbedarf im Schweizer Recht, Jusletter, 28. Juni 2021a. Sie verstehen denn auch ihren Beitrag „als Anstoss für eine vertiefte Diskussion und als Aufruf an den schweizerischen Gesetzgeber, die Erarbeitung eines Rechtsrahmens zur Erfassung der Herausforderungen von KI zeitnah anzugehen“.^[72]Braun Binder et al., 2021a, 1.

In diesem Zusammenhang ist erstens wichtig zu betonen, dass es für die Schaffung der erwähnten Rahmenbedingungen für einen verantwortungsvollen Einsatz von KI, der der Gesellschaft zugutekommt, verschiedenste Massnahmen braucht – sei dies im Bereich der Forschung, der unabhängigen Aufsicht, der technologischen Entwicklung, des zivilgesellschaftlichen Engagements, der Bildung und Förderung der Algorithmic Literacy und digitaler Kompetenzen, der öffentlichen Debatte oder eben der rechtlichen Regulierung. Zweitens wird es bei dieser rechtlichen Regulierung notwendig sein, gesetzgeberisch tätig zu werden und durch generelle und sektorielle Normen Lücken zu schliessen sowie bestehende Normen zu ergänzen und anzupassen. Dies ist angezeigt etwa im Bereich des Diskriminierungsschutzes im Verhältnis zwischen Privaten,^[73]Thouvenin Florent et al., Ein Rechtsrahmen für Künstliche Intelligenz, Positionspapier Digital Society Initiative (DSI) Strategy Lab, Balsthal/Zürich 2021, abrufbar unter … Continue reading zur Förderung der Transparenz etwa durch Informationspflichten für Betroffene oder öffentliche Register der im öffentlichen Sektor eingesetzten KI-Systeme^[74]Thouvenin et al.; Loi et al., 2; AlgorithmWatch, Submission on the European Commission’s „White Paper on Artificial Intelligence – a European approach to excellence and trust“, 2020, 3, … Continue reading oder wenn es darum geht, rote Linien zu ziehen und gewisse Anwendungen von KI-Systemen zu verbieten. Einsatzweisen von KI-Systemen, die inhärent mit Grundrechten in Konflikt stehen, wie die Verwendung von biometrischen Erkennungssystemen im öffentlichen Raum, sollten in demokratischen Gesellschaften nicht erlaubt sein. Zudem existieren in verschiedenen Sektoren bereits Regelungen für die Nutzung von algorithmenbasierten Technologien, sei es beispielsweise im Finanzsektor oder in der Medizin. Auch hier ist es zentral, kontinuierlich Lücken zu identifizieren und zu schliessen.

Drittens kann es aber bei der rechtlichen Regulierung nicht einzig um den Aspekt der Rechtsetzung gehen, sondern müssen auch die Anwendung und Auslegung bestehender Normen in den Blick genommen werden.^[75]Braun Binder et al., 2021a, Rz. 55.   In erster Linie müssen diese konsistent und konsequent auf Anbieter·innen und Nutzer·innen von KI-Systemen sowie auf die von oder mit Hilfe von KI-Systemen getroffenen Prognosen und Entscheidungen angewendet werden. Die Verwaltung ist weiterhin an Grundrechte und rechtsstaatliche Prinzipien, an das Legalitätsprinzip und Verfahrensgarantien gebunden, unabhängig davon, ob sie ihre Entscheide mit oder ohne automatisierte Unterstützung trifft.^[76]Braun Binder Nadja et al., Einsatz künstlicher Intelligenz in der Verwaltung: rechtliche und ethische Fragen, Schlussbericht vom 28. Februar 2021, Zürich 2021b, abrufbar unter … Continue reading Zudem prägen auch bereits bestehende technologieunabhängige Regelungen den Einsatz von KI-Systemen und setzen ihm Leitplanken.

Darüber hinaus muss sich – ganz zentral – die Auslegung bestehender Normen so weiterentwickeln, dass sie der technologischen Entwicklung und den Herausforderungen von ADM-Systemen gerecht wird. Um diese zentrale Aufgabe anzuleiten und der Komplexität der Problematik gerecht zu werden, ist eine interdisziplinäre und multisektorale Herangehensweise angezeigt. Der Umgang mit KI wirft Fragen auf, deren Beantwortung die Expertise aus verschiedenen Disziplinen – darunter Rechtswissenschaft, Informatik, Data Science, Philosophie oder Kommunikationswissenschaften – und verschiedenen Sektoren – Wissenschaft, Verwaltung, Privatsektor und Zivilgesellschaft – bedingen. Vorschläge wie jene der Einrichtung einer Expert·innenkommission^[77]Braun Binder et al., 2021a, Rz. 57; Thouvenin et al., 7. erscheinen in dieser Hinsicht vielversprechend. Gleichzeitig muss sichergestellt werden, dass dieses Engagement breit abgestützt ist und insbesondere auch die Perspektiven von Personen oder Gruppen, die von den Auswirkungen von KI-Systemen auf besondere oder überproportionale Weise betroffen sind, einbezogen werden. Wenn Rechtsetzung, -anwendung und -auslegung evidenzbasiert sein sollen, brauchen wir fundierte Expertise, die aber auch informiertes Wissen dazu, wie KI-Systeme sich real und konkret auf Mensch und Gesellschaft auswirken, berücksichtigt.

Fazit

Rahmenbedingungen für den Einsatz von KI-Systemen – inklusive ihrer rechtlichen Regulierung – müssen zum Ziel haben, dass dieser Einsatz so gestaltet werden kann, dass er den Einzelnen und der Gesellschaft tatsächlich nutzt, statt ihnen zu schaden, und diesen Nutzen gerecht verteilt. Was wir dafür brauchen, ist Transparenz zur Verwendung und Funktionsweise der Systeme, um eine evidenzbasierte und breite gesellschaftliche Debatte zu entfachen. Dies ist Grundlage, damit wir als Individuen selbstbestimmt Kontrolle über den Einfluss von KI-Systemen auf uns ausüben können und wir als Gesellschaft die Möglichkeit haben, auf demokratische Weise evidenzbasiert Kontrolle auszuüben. Nicht zuletzt muss sichergesellt werden, dass Möglichkeiten der Zuschreibung von Verantwortung gegeben sind, um die am Einsatz eines Systems beteiligten Akteure auf sinnvolle Weise zur Rechenschaft zu ziehen, wenn das System Auswirkungen hat, die gegen Rechte von Einzelnen verstossen oder der Gesellschaft schaden.

Auf EU-Ebene haben derzeit Parlament und Rat die Möglichkeit, den KI-Verordnungsentwurf an wesentlichen Stellen nachzubessern, um diesen Ansprüchen gerecht zu werden. In der Schweiz sind Politik, Wissenschaft, Privatsektor und Zivilgesellschaft aufgerufen, sich an einem inklusiven Dialog und Engagement zur Thematik zu beteiligen, damit die Gestaltung dieser Rahmenbedingungen angegangen werden kann.