Dr. Larysa Visengeriyeva 16. April 2024

Ein Leitfaden für den EU AI Act

Zur Navigation für MLOps-Praktiker

Der EU AI Act ist der erste umfassende rechtliche Rahmen, der AI-Systeme durch einen bedeutenden Regulierer regelt. © Adobe: henjon / stock.adobe.com / 705583992 / Generiert mit KI — © Adobe: henjon / Generiert mit KI

In diesem Artikel geht es um MLOps, genauer gesagt um das Verständnis des EU AI Act aus der Perspektive von MLOps. Daher müssen wir zwei Dinge verstehen: Zum einen die Anforderungen des EU AI Act, zum zweiten, dass MLOps als eine entscheidende Methodik für das Design, die Entwicklung und die Wartung von AI-Anwendungen und die Sicherstellung von Compliance und operationeller Effizienz in der AI-Entwicklung anzusehen ist.

Gemäß der risikobasierten Klassifikation des EU AI Act können AI-Systeme in eine von vier möglichen Klassen eingeteilt werden – verboten, hochriskant, begrenztes Risiko und minimales Risiko (engl. prohibited, high risk, limited risk, minimal risk). Eine entsprechende Klassifizierung hat Auswirkungen auf die Einschätzung der Anforderungen des AI-Systems, da verschiedene Risikokategorien unterschiedliche MLOps-Architekturentscheidungen implizieren. Dieses Problem betrifft speziell ML- oder MLOps-Engineers. Indem wir dieses Problem ansprechen, ermöglichen wir es diesen Ingenieuren, proaktiv konforme MLOps-Prozesse und -Systeme zu entwerfen und zu implementieren und die Anforderungen der Regulierung effektiv zu navigieren. Wir möchten die Angst und Unsicherheit, die mit den unbekannten Elementen des EU AI Act verbunden sind, mildern. Dazu liefern wir eine detaillierte Erklärung der risikobasierten Klassifikation von AI-Systemen und der Implementierung entsprechender MLOps-Prozesse und -Komponenten.

Den EU AI Act verstehen

Abb. 1: Risikokategorien nach EU AI Act. Quelle: ml-ops.org

Bevor wir uns mit dem MLOps-Aspekt der Implementierung der Anforderungen befassen, beginnen wir mit einer kurzen Zusammenfassung der Schlüsselkomponenten der Regulatorik [1].

Der EU AI Act ist weltweit der erste umfassende rechtliche Rahmen, der AI-Systeme durch einen bedeutenden Regulierer regelt. Ziel ist es zu gewährleisten, dass AI-Systeme in der EU sicher, transparent und ethisch sind und die Grundrechte gewahrt werden. Das Gesetz wendet einen risikobasierten Ansatz an und klassifiziert AI-Systeme in vier Risikokategorien: inakzeptables Risiko (verboten), hohes Risiko, begrenztes Risiko und minimales/kein Risiko. AI-Systeme mit inakzeptablem Risiko, die verboten werden, umfassen soziales Scoring, das Ausnutzen von Schwachstellen spezifischer Gruppen und wahllose Überwachung mit Biometrie. KI-Systeme mit hohem Risiko, wie sie in kritischer Infrastruktur, Bildung, Strafverfolgung usw. Verwendung finden, werden strengen Anforderungen an Tests, Risikomanagement, menschlicher Aufsicht, Transparenz und mehr unterliegen.

Der EU AI Act wird General-Purpose-AI-(GPAI-)Modelle wie generative KI und LLMs regulieren und Transparenz bezüglich der Trainingsdaten, die Einhaltung von Urheberrechtsgesetzen und Risikobewertungen für hochwirksame Modelle fordern. Von KI generierte Inhalte wie Deepfakes oder synthetische Mittel wie Text, Audio, Bilder müssen als künstlich erzeugt gekennzeichnet werden.

Der Act etabliert eine europäische KI-Aufsichtsbehörde sowie nationale Behörden für die Implementierung und Durchsetzung in der gesamten EU. Nach dem Beschluss (März 2024) gibt es eine Übergangsfrist, bevor die Regeln vollständig in Kraft treten, die je nach Risikokategorie der KI-Systemanforderungen von sechs Monaten für Verbote bis zu drei Jahren reicht. Finanzielle Strafen für Verstöße können bis zu 35 Millionen Euro oder 7 Prozent des weltweiten Jahresumsatzes für Unternehmen umfassen, je nachdem, welcher Betrag höher ist.

Es wird erwartet, dass das Gesetz einen globalen Standard für die KI-Governance setzt, ähnlich wie die DSGVO die Datenschutzgesetze weltweit beeinflusst hat. Im Folgenden werden wir die Risikokategorien untersuchen, um diese KI-Systeme zu verstehen.

KI-Systeme mit inakzeptablem Risiko (Title II, Art. 5)

Wir beginnen mit den KI-Systemen, die innerhalb der EU verboten sein werden. Um solche zu identifizieren, sollte man sich folgende Fragen stellen: Nutzt Ihr KI-System Techniken, die menschliches Verhalten manipulieren und den freien Willen der Nutzer umgehen können, die Schwachstellen bestimmter Personengruppen aufgrund ihres Alters oder einer körperlichen oder geistigen Behinderung ausnutzen oder physischen oder psychischen Schaden verursachen können? Kann Ihr KI-System als Eingabe für subliminale Methoden verwendet werden, die die menschliche Kognition übersteigen, z. B. die Verwendung der Geschlechtserkennung für "dark patterns" in der Werbung? Wenn ja, dann wird das System als inakzeptables Risiko klassifiziert und ist daher verboten. Die folgende Liste liefert Beispiele für solche verbotenen KI-Systeme:

Social Scoring: KI-Systeme, die für soziales Scoring verwendet werden und Menschen anhand ihres sozioökonomischen Status oder ihrer Persönlichkeitsmerkmale kategorisieren. Solche Systeme können zu unverhältnismäßiger und schädlicher Behandlung von Menschen führen.
Biometrische Identifikationssysteme, die zur Massenüberwachung in öffentlichen Räumen eingesetzt werden. Das EU-Parlament möchte solche Systeme verbieten, außer in Fällen schwerwiegender Bedrohungen der öffentlichen Sicherheit.
KI-Systeme, die gefährliches Verhalten bei Kindern fördern oder die Schwachstellen bestimmter schutzbedürftiger Gruppen ausnutzen.
Deepfakes: KI-Systeme, die Bild-, Audio- oder Videoinhalte auf hochrealistische, aber unwahre Weise generieren oder manipulieren. Nutzer sollten darauf hingewiesen werden, wenn sie mit solchen Systemen interagieren.
Emotionserkennung: KI-Systeme, die Emotionserkennung einsetzen, um die emotionalen Zustände von Menschen am Arbeitsplatz zu überwachen.

Im verbleibenden Teil dieses Artikels fokussieren wir uns auf hochriskante und begrenzt riskante KI-Systeme, da diese am stärksten vom EU AI Act beeinflusst werden.

KI-Systeme mit hohem Risiko (Art. 8-25)

Anbieter und Entwickler von hochriskanten (high risk) KI-Systemen müssen sich ihrer Verantwortung bewusst sein. Solche KI-Systeme haben das Potenzial, die Gesundheit, Sicherheit oder grundlegenden Rechte der Menschen sowie die Umwelt erheblich zu beeinflussen. KI-Systeme, die integraler Bestandteil von Sicherheitskomponenten von Produkten sind, die bereits bestehenden Sicherheitsstandards und -bewertungen unterliegen, wie Medizinprodukte, Fahrzeuge oder Industriemaschinen, werden ebenfalls als hochriskant eingestuft. Beispiele für hochriskante KI-Systeme sind biometrische Identifikation, Emotionserkennung, Management lebenswichtiger Infrastrukturen, Entscheidungen in Bildungswesen und Berufsausbildung, Beschäftigung und Arbeitnehmermanagement, Zugang zu wesentlichen Dienstleistungen, Tätigkeiten der Strafverfolgungsbehörden, Migrations- und Asylverfahren sowie bestimmte Funktionen innerhalb der Justizverwaltung und demokratischer Prozesse. Die folgende Liste bietet Beispiele für solche hochriskanten KI-Systeme:

Kundenservice-Chatbots, die sensible Informationen verarbeiten: Während viele Chatbots als geringes Risiko gelten, könnten solche, die sensible persönliche Daten verarbeiten oder bedeutende Entscheidungen über Kundendienste treffen (wie die Bearbeitung von Beschwerden oder Rücksendungen), als hochriskant eingestuft werden.
Personalisierte Preisalgorithmen: KI, die Preise für Waren oder Dienstleistungen basierend auf individuellen Kundenprofilen festlegt, könnte als hochriskant angesehen werden. Dies liegt daran, dass solche Algorithmen zu unfairer Diskriminierung oder ausbeuterischen Praktiken führen könnten.
Kreditbewertung und Finanzdienstleistungen: KI-Systeme, die zur Bewertung der Kreditwürdigkeit von Kunden oder zur Entscheidung über deren Eignung für Finanzprodukte verwendet werden, können erhebliche Auswirkungen auf die finanzielle Situation und Möglichkeiten einer Person haben.
Fraud Detection: KI-Systeme, die zur Erkennung von betrügerischen Transaktionen oder Aktivitäten verwendet werden, können durch falsche Entscheidungen ernsthafte Auswirkungen auf Kunden haben, wie das unrechtmäßige Blockieren ihrer Konten oder Transaktionen.
Optimierung der Lieferkette für kritische Infrastrukturen: KI-Systeme, die in der Verwaltung der Lieferkette eingesetzt werden, insbesondere wenn sie kritische Infrastrukturen oder wesentliche Dienstleistungen beeinflussen, könnten aufgrund ihres Potenzials, wichtige wirtschaftliche Aktivitäten zu stören, als hochriskant angesehen werden.
Personalmanagement: KI wird für die Rekrutierung, Überwachung oder Bewertung der Mitarbeiterleistung verwendet, hauptsächlich wenn diese Entscheidungen erhebliche Auswirkungen auf Karrieren haben.
Produktempfehlungen unter Verwendung sensibler Daten: Ein Recommender, der sensible persönliche Daten (wie Gesundheitsinformationen, religiöse Überzeugungen usw.) verwendet, um Produktangebote anzupassen, könnte als hochriskant eingestuft werden.

KI-Systeme mit begrenztem Risiko (Art. 52)

Der EU AI Act hat KI-Systeme, die mit Menschen interagieren und weder ein inakzeptables noch ein hohes Risiko darstellen, also z. B. künstlerische Deepfakes oder Chatbots, als begrenzt riskant (limited risk) eingestuft. Diese Systeme sind verpflichtet, Transparenz zu gewährleisten, indem sie Personen über ihre Interaktionen mit einem KI-System informieren und künstlich generierte oder manipulierte Inhalte deutlich kennzeichnen. Im Folgenden bieten wir einige Beispiele für begrenzt riskante KI-Systeme:

Chatbots für grundlegende Kundeninteraktion: KI-gesteuerte Chatbots, die für die Beantwortung häufig gestellter Fragen oder die Bereitstellung grundlegender Kundenunterstützung verwendet werden, wo das potenzielle Fehlerausmaß relativ gering ist.
Produktempfehlungssysteme: KI-Systeme, die Produkte basierend auf dem Surf- oder Kaufverhalten vorschlagen – obwohl einflussreich, treffen sie in der Regel keine Entscheidungen für besonders hohe Einsätze.
Automatisierte Preisanpassungsalgorithmen für nicht-essenzielle Güter: KI-Systeme, die Preise basierend auf Nachfrage, Wettbewerb und anderen Faktoren anpassen, solange sie nicht in essenziellen Gütern oder Dienstleistungen involviert sind.
Inhaltsmoderation für nicht sensible Bereiche: KI-Systeme, die für die Moderation von Nutzerbewertungen oder -kommentaren verwendet werden – sofern sie sich nicht mit illegalen oder hochsensiblen Inhalten befassen, stellen diese Systeme in der Regel ein begrenztes Risiko dar.
Inventarverwaltung: KI wird für die Vorhersage von Bestandsbedürfnissen und die Optimierung von Lagerbeständen verwendet. Diese Systeme sind für den Betrieb entscheidend, stellen jedoch in der Regel keine signifikanten Risiken für Verbraucherrechte oder Sicherheit dar.
Kundenstimmungsanalyse: KI-Tools, die Kundenfeedback analysieren, um Zufriedenheitsniveaus zu messen – diese Einblicke sind wertvoll für die Geschäftsstrategie, gelten aber typischerweise als begrenzt riskant.
Website-Personalisierung: KI, die das Website-Erlebnis basierend auf dem Benutzerverhalten anpasst, wie z. B. das Ändern von Layouts oder das Hervorheben bestimmter Produkte, die allgemein als nicht kritisch angesehen werden.

Generative AI im EU AI Act (Title VIIIA)

Allgemeine KI (GPAI), insbesondere generative KI (GenAI), ist ein Gegenstand der Regulierung unter dem EU AI Act mit dem Ziel, Sicherheit und Vertrauenswürdigkeit zu gewährleisten [2]. GenAI-Systeme, wie ChatGPT oder perplexity.ai, werden wahrscheinlich unter dem Gesetz als "hochriskante" KI-Systeme eingestuft, aufgrund ihres potenziellen Einflusses auf grundlegende Rechte wie Privatsphäre und Nichtdiskriminierung sowie Risiken der Erzeugung schädlicher oder illegaler Inhalte. Als hochriskante Systeme unterliegen GenAI-Anbieter strengen Anforderungen bezüglich Risikomanagement, Daten-Governance, Transparenz, menschlicher Aufsicht, Robustheit, Cybersicherheit und mehr. Dies umfasst technische Dokumentationen, Konformitätsbewertungen und die Registrierung in einer EU-Datenbank. GenAI-Anbieter müssen Transparenzpflichten erfüllen und Informationen über die verwendeten Trainingsdaten offenlegen, einschließlich des Nachweises der Einhaltung von Urheberrechtsgesetzen. Auch die Dokumentation der Architektur, der vorgesehenen Anwendungsfälle und anderer technischer Details großer und komplexer GenAI-Modelle wie GPT-4 muss bereitgestellt werden [3].

GenAI-Systeme wie ChatGPT werden wahrscheinlich unter dem Gesetz als "hochriskante" KI-Systeme eingestuft.

Insgesamt legt der AI Act starke Compliance-Verpflichtungen für GenAI-Anbieter fest [4].

Risiko-Klassifikation-Framework für AI-Systeme

Die Klassifizierung des verwendeten KI-Systems ist wichtig, um den Umfang der MLOps- und Governance-Prozesse zu verstehen. Im Folgenden haben wir eine Liste spezifischer Fragen zusammengestellt, die auf die im EU AI Act gelisteten Risikokategorien abzielen. Zusätzlich haben wir Verweise auf relevante Anhänge aufgenommen, die bei der Nachverfolgung der Compliance helfen können. Es ist wichtig zu beachten, dass diese Fragen nur als Richtlinie verwendet und Rechtsexperten für eine endgültige Klassifizierung und Beratung zu Compliance-Verpflichtungen konsultiert werden sollten.

Hochrisiko-KI-Systeme [6]

Annex III, Abschnitt 1 (Kritische Infrastruktur): "Könnte ein Versagen oder eine Fehlfunktion des KI-Systems das Leben, die Gesundheit oder die physische Sicherheit von Personen gefährden oder erheblichen materiellen Schaden an wichtigen Transport-, Energie-, Wasser- oder digitalen Infrastrukturen verursachen?"

Annex III, Sektion 2 (Bildung und Berufsausbildung): "Wird das KI-System verwendet, um den Zugang zu Bildungseinrichtungen zu bestimmen oder für die Bewertung von Studenten bei Prüfungen für akademische Qualifikationen?"

Annex III, Sektion 3 (Beschäftigung): "Hat das KI-System einen erheblichen Einfluss auf die Rekrutierung oder Auswahl von Personen, die Bewertung der Arbeitsleistung, Beförderungen, Beendigung von Arbeitsverhältnissen oder irgendeinen anderen Aspekt der Arbeitsaufgabenverteilung?"

Annex III, Sektion 4 (Wesentliche private & öffentliche Dienstleistungen): "Wird das KI-System im Kontext der Berechtigung oder des Zugangs zu sozialen Vorteilen oder Dienstleistungen verwendet?" und "Spielt das KI-System eine Rolle bei der Bereitstellung von sozialer Unterstützung, Wohnraum oder Dienstleistungen für obdachlose Personen?"

Annex III, Sektion 5 (Strafverfolgung): "Ist das KI-System dazu bestimmt, Verhalten retrospektiv in Bezug auf Straftaten zu bewerten oder das Auftreten potenzieller Straftaten vorherzusagen?" und "Unterstützt das KI-System bei der Untersuchung oder Verfolgung von Straftaten?"

Annex III, Sektion 6 (Asyl- und Migrationsmanagement): "Wird das KI-System verwendet, um die Berechtigung für öffentliche Unterstützungsleistungen im Zusammenhang mit Asyl, internationalem Schutz oder Aufenthaltsstatus zu bewerten?"

Annex III, Sektion 7 (Verwaltung der Justiz und demokratischer Prozesse): "Hat das KI-System irgendeinen Einfluss auf die Bewertung von Beweisen, die Zuverlässigkeit von Zeugen oder die Wahrscheinlichkeit von Wiederholungstaten in einem Gericht?"

Annex III, Sektion 8 (Biometrische Identifikation): "Ist das KI-System dazu bestimmt, natürliche Personen auf der Grundlage biometrischer Daten für Fernidentifizierungszwecke in öffentlich zugänglichen Räumen zu kategorisieren?"

Limited risk KI-Systeme

KI, die mit Menschen interagiert: "Werden Benutzer transparent darüber informiert, dass sie mit einem KI-System und nicht mit einem Menschen interagieren?", "Werden Benutzer über die Hauptbeschränkungen des Systems informiert?" und "Könnte eine realistische Interaktion mit dem KI-System dazu führen, dass ein Benutzer persönliche Informationen preisgibt, sein Verhalten ändert oder in die Irre geführt wird?"

Emotionserkennung oder biometrische Kategorisierung: "Versucht das KI-System, Emotionen einer natürlichen Person zu erschließen oder Menschen basierend auf ihrem Alter, Geschlecht oder anderen persönlichen Merkmalen zu kategorisieren?" (Transparenzanforderungen müssen berücksichtigt werden.)

Deepfakes: "Erzeugt das KI-System synthetischen Inhalt, der Benutzer überzeugend über eine künstliche Natur täuschen könnte?"

Wichtiger Hinweis: Einige KI-Systeme können Komponenten umfassen, die in mehrere Risikokategorien fallen. Dann sollte jeder Aspekt unabhängig bewertet werden. Konsultieren Sie einen Rechtsexperten für eine definitive Klassifizierung und Beratung zu Compliance-Verpflichtungen.

>> Im zweiten Teil des Artikels skizzieren wir die Kernprinzipien von MLOps und wie diese mit den Anforderungen des EU AI Act in Einklang zu bringen sind, um einen verantwortungsvollen, transparenten und regulierungskonformen Umgang mit KI sicherzustellen.

Quellen