KI-Security: Chance oder Risiko?
Sicherheit für, mit, durch, wegen, gegen und trotz künstlicher Intelligenz
Wie jede disruptive Technologie bringen künstliche Intelligenz (KI) und insbesondere Maschinelles Lernen (ML) Chancen und Risiken mit sich. Die naheliegende Frage "Wie sicher ist KI?" hat in Wirklichkeit mehrere Dimensionen: Wie und wie sehr könnte KI dem Menschen schaden? Wie könnte KI missbraucht werden? Was lässt sich dagegen tun? Und wo könnte KI sinnvoll zur Verteidigung eingesetzt werden? Dieser Beitrag versucht, eine Systematik in das Thema zu bringen und eine Kategorisierung der unterschiedlichen Sichtweisen zu entwickeln. Daraus lassen sich die entscheidenden Fragen destillieren, die sich alle diejenigen stellen sollten, die KI erforschen oder nutzen wollen bzw. müssen.
Die gute Nachricht – gut aus Sicht der Sicherheit und damit anzunehmender Weise auch gut für die freiwilligen und unfreiwilligen Anwender von Machine Learning – zuerst: Sicherheit wird mittlerweile bei KI, wie es heutzutage bei Next Generation-Technologien üblich ist, häufig mitgedacht. Ob Cloud, Big Data oder DevOps – keines der großen Buzzwords kommt inzwischen ohne Security-Flankierung aus.
Eine Sache ist es jedoch, zwei komplexe und beladene Begriffe sprachlich einfach nebeneinander zu stellen. "KI und Security" (oder "Security und KI") bzw. im Deutschen auch gerne einfach KI-Security ist schnell auf eine Marketingfolie gepinselt. Aber welche Beziehung der Gebiete interessiert den jeweiligen Betrachter? Die Juxtaposition der Begriffe kann nämlich unterschiedliches bedeuten:
- KI für (mehr) Security – also Security wegen/dank KI
- (Mehr) Security von bzw. für KI
- Security gegen KI ("trotz" KI)
- KI gegen Security, also Offensive KI
Zweifelsohne bringt KI bzw. ML Nutzen und Gefahren mit sich. Die Frage, welche der beiden Seiten überwiegt, hat, wie wir feststellen, in Wirklichkeit jedoch mehrere Dimensionen.
Bedrohungsmodelle
In den Teilgebieten der Sicherheit hat sich die Modellierung von Bedrohungen als ein Basiswerkzeug etabliert, über dessen Nutzen sich ausnahmsweise einmal alle einig sind. Ohne Threat Model ist keine Risikoanalyse und kein Security-Tool etwas wert. Bevor man in eine qualitative oder quantitative Bewertung von Risiken und Chancen geht, ist also zunächst zu klären, wer wem was warum antun könnte – das Wann, Wie und Wie viel kommt in der Regel später. Ein nützliches, einfaches Bedrohungsmodell für die Interaktion zwischen Mensch und Maschine (im Sinn von Computersystem) sieht folgendermaßen aus [1]:
Tabelle 1: Bedrohungsmodelle Mensch vs. Maschine
| …bedroht | Mensch | Maschine |
|---|---|---|
| Mensch | Zivile / Militärische Sicherheit | Informationssicherheit, Cybersicherheit, Cyberwar |
| Maschine | Safety | Autonome Waffensysteme |
Die Zellen der Matrix zeigen die Gebiete, die sich mit den entsprechenden Bündeln von Angriffsvektoren beschäftigen, z. B.: Mit Angriffen von Menschen auf Computersysteme beschäftigt sich die Informations- bzw. Cybersicherheit (im Fall von zivilen Akteuren) bzw. die Wissenschaft vom Cyberwar (im Falle militärischer Angreifer).
Lässt man nun Modelle und Algorithmen des maschinellen Lernens, die gewissermaßen zwischen Menschen und Maschinen einzuordnen sind, mit auf dem Spielfeld zu, ergibt sich gemäß quadratischem Wachstum eine deutlich vergrößerte Bedrohungsmatrix.
Tabelle 2: Bedrohungsmodelle Mensch vs. KI vs. Maschine
| …bedroht | Mensch | KI/ML | Maschine |
|---|---|---|---|
| Mensch | Zivile/Militärische Sicherheit | KI-Security | Informationssicherheit, Cybersicherheit, Cyberwar |
| KI/ML | KI-Safety | Adversarial AI | Security-KI |
| Maschine | Safety | "Kinetische Antwort" | Autonome Waffensysteme |
Die vier Kategorien in den äußeren Ecken kennen wir bereits. Neu hinzugekommen sind fünf weitere mögliche Interaktionen, von denen wir uns drei genauer anschauen möchten:
- KI-Security: Menschen versuchen, ML zu manipulieren
- Security-KI: KI versucht, Security zu verbessern
- KI-Safety: KI hat negative Auswirkungen auf Mensch oder Gesellschaft
Bei Adversarial AI (also KI vs. KI) geht es um das Feld, in dem ML-Algorithmen gegeneinander "kämpfen". Seit 2014 sind etwa GANs (Generative Adversarial Networks) en vogue, in denen zwei neuronale Netze quasi als Trainings-Sparringspartner gegeneinander antreten, um gemeinsam harte Probleme wie das Generieren von Deep Fakes effizienter zu lösen. Die US-amerikanische DARPA (Defense Advanced Research Projects Agency) wiederum hat 2016 im Wettbewerb "Cyber Grand Challenge" (CGC) Systeme sich automatisiert gegenseitig angreifen und verteidigen lassen – auch hierbei spielte maschinelles Lernen eine gewisse Rolle.
Ebenso wenig weiter betrachten wollen wir hier die "kinetische Antwort". Diese umschreibt die Reaktion auf einen (vermuteten oder tatsächlichen) Cyberangriff mit konventionellen Nicht-Cyberwaffen wie etwa 2019 im Nahen Osten.
KI-Security: Mensch greift KI an
Wie bei jeder Technologie gibt es menschliche Akteure, die aus den unterschiedlichsten Gründen versuchen, Systeme zu stören, zu manipulieren, Daten auszulesen, Sicherheitsmechanismen zu umgehen. Die Motivationen dazu sind vielfältig und nicht selten gutartig: Ohne zu testen, welche Missbrauchsmöglichkeiten es gibt, kann ein Stück Hard- oder Software schwerlich als sicher gelten. Dazu kommt, dass die Mehrzahl der Schädigungen von IT-Systemen unabsichtlich geschieht. Vom fat finger (Tippfehler) bis zur Fehlkonfiguration komplexer Komponentenzusammenhänge reicht das Gros der IT-Vorfälle, gegen welches sich ebenso gewappnet werden muss wie gegen vorsätzliche Angriffe. So weit, so bekannt.
Beim Maschinellen Lernen kommt hinzu, dass diese Technologie neuartige, in sich komplexe Entwicklungs- und Produktivstacks benötigt, sowie häufig auch spezifische Betriebsmodelle mit sich bringt. So werden etwa viele ML-Stacks vornehmlich in der Cloud angeboten – einer anderen immer noch neuen Technologie, welche für die Security ihre eigenen Herausforderungen mit sich bringt. Im Folgenden wollen wir einen kurzen Einblick geben, was die möglichen Angriffsvektoren sind, an denen grundsätzlich Manipulationen oder andere Brüche der Sicherheitsziele geschehen könnten.
Verfügbarkeit
Die Verfügbarkeit von ML-Diensten hängt im Wesentlichen von der Verfügbarkeit der beteiligten Ressourcen und Komponenten ab. Und zwar muss gemäß dem Maximumprinzip das am wenigsten verfügbare Glied der Kette ausreichen, um die Gesamtverfügbarkeit sicherzustellen – außer, es sind effektive Redundanzen vorhanden. Sind Cloud-Dienste beteiligt, muss deren Verfügbarkeit zu der des ML-Dienstes passen. SLAs sind hierbei kein geeignetes Mittel, um die Verfügbarkeit verlässlich zu bewerten, da die Vertragsstrafen (Pönalen) für die Cloudbetreiber zu gering sind, um als scharfes Schwert zu dienen.
Es lohnt sich jedoch, den Verfügbarkeitsbedarf für die einzelnen Phasen des ML-Lebenszyklus getrennt zu bewerten. Möglicherweise wird für das Trainieren eine geringere Verfügbarkeit benötigt als für die Anwendung des Modells, sodass eine Notfallplanung (BCM) für letzteres ausreicht.
Vertraulichkeit
Neben den Fachdaten, die in KI-Stacks verarbeitet werden (z. B. Daten mit Personenbezug und entsprechenden Anforderungen aus der europäischen Datenschutzgrundverordnung (DSGVO)) spielt bei ML häufig auch das Intellectual Property (IP) bzw. das Prozesswissen als Geschäftsgeheimnis eine Rolle, welches in den Modellen selbst kodiert ist. Immerhin sind "gute" Trainingsdaten schwer zu bekommen, und das Trainieren aufwändiger Modelle kann einen beachtlichen finanziellen Aufwand bedeuten. Es ist also zusätzlich zu überlegen, wie die Trainingsdaten und Modelle selbst vor Diebstahl oder Kopieren geschützt werden können – angesichts des Cloud-Betriebs eine eigene Herausforderung.
Integrität
Das komplexeste Bedrohungsfeld im Bereich KI/ML stellen Störungen der Integrität dar. Dies hat mehrere Gründe: Zum einen ist da wieder die bereits genannte Komplexität der Stacks und damit die Vielzahl möglicher Angriffsvektoren für Manipulationen. Zum anderen jedoch hat es Maschinelles Lernen intrinsisch in sich, dass seine Wirkungsweise für Menschen schwer zu durchschauen ist. Auch wenn es inzwischen Forschung zu Explainable AI gibt, dürften geschickte Manipulationen von Modellen im Allgemeinen schwer zu bemerken sein (Detektierbarkeit).
Folgende Angriffsstellen kommen unter anderem für Manipulationen in Frage:
- Manipulation der Auswertung
- Manipulation des Modells
- des vortrainierten Modells
- des selbst trainierten Modells
- Manipulation der Daten
- der Trainingsdaten
- der Produktivdaten, bevor sie ins Modell gegeben werden
- Manipulation der Software (KI-Stack)
- Sourcecode
- Binärdateien
- Bibliotheken
- IDE
- Manipulation der Supply Chain
- Cloud-Dienste
- Manipulation von Hardware (z. B. GPUs)
Die Liste ließe sich noch weiter fortsetzen bzw. für spezifische ML-Stacks konkretisieren. Die Möglichkeiten unerwünschter menschlicher Einflussnahme auf KI sind also vielfältig und übrigens in großen Teilen noch wenig erforscht. Eines steht jedoch bereits fest: All dies wird versucht werden und viele Angriffe werden in gewissen Fällen tatsächlich auch erfolgreich sein.
Security-KI: KI bekämpft oder verteidigt Maschine
Das Gebiet, das vielen als erstes einfällt, wenn es um "KI und Security" geht, lässt sich als "Security-KI" umschreiben. Es umfasst im Wesentlichen zwei Fragen:
- Offensive KI: Wie lassen sich Cyberangriffe mit KI verbessern?
- Defensive AI: Wie lassen sich Cyberangriffe mit KI besser verhindern/leichter detektieren etc.?
Wie Thomas Dullien 2017 gezeigt hat, eignet sich insbesondere das erste Problem für den Einsatz von KI [2]. Zwar tummeln sich heute die meisten KI-Start-ups im zweiten Bereich und streichen Fördergelder für mehr oder weniger sinnvolle "Anomaliedetektion" oder "Next-Generation-Angriffserkennung" ein. Warm anziehen müssen wir uns vermutlich aber dann, wenn Angreifer ernsthaft beginnen, die Stärke von ML für die Tarnung von Schadsoftware oder die "Verbesserung" von SPAM und Social-Engineering-Kampagnen einzusetzen.
ML-Prozesse sind für menschliche Beobachter nicht mehr voll zu durchschauen, sonst würden wir sie gar nicht erst benötigen.
KI-Safety: KI bedroht Mensch oder Gesellschaft
Ein völlig anderes Thema ist die Beschäftigung mit der Frage, inwieweit KI an sich – missbraucht oder nicht – eine Gefahr oder einen Nachteil für die Gesellschaft oder einzelne Menschen darstellen kann. Hier hat sich eine Reihe von unterschiedlichen Problemen als relevant herauskristallisiert:
- (In-)Transparenz: Die inner workings von ML-gestützten Prozessen sind für menschliche Betreiber und Beobachter nicht mehr voll zu durchschauen. Das liegt in der Natur der Sache, andernfalls würden wir ML-Methoden gar nicht erst benötigen. Gleichzeitig übertragen wir immer mehr Entscheidungskompetenz auf der Mikro- und auf der Makroebene an derartige Algorithmen. Eine gewisse Transparenz ist dabei unabdingbar, um die für demokratische Prozesse notwendige Accountability (Rechenschaftspflicht) zu gewährleisten. Auf der anderen Seite könnte dies gerade eine Chance der Digitalisierung sein, wenn Prozesse transparent und nachvollziehbarer gestaltet werden.
- Bias (Voreingenommenheit): Vorurteile sind auch bei menschlichen und institutionellen Entscheidern vorhanden und können nicht grundsätzlich komplett vermieden werden. ML hat jedoch, solange dies nicht gemessen und korrigiert wird, die Eigenschaft, Bias nicht nur zu erlernen, sondern systematisch und unnachgiebig (etwa ungehindert von Scham) fortzusetzen. Forschung an ML muss also begleitet werden durch Forschung an systematischen Benachteiligungen in unserem Denken, den Daten und den Algorithmen und sollte dafür alle Stakeholder und potentiell betroffene Gruppen einbeziehen.
- Singularität: Die Angst vor dem Zeitpunkt, an dem eine Starke KI (Artificial General Intelligence, AGI) das Bewusstsein erlangt und innerhalb kurzer Zeit die Macht über uns Menschen übernimmt, ist alt und vermutlich nicht so bald realistisch. Allerdings lohnt es sich, die Gefahr eher als graduelle Skala zu betrachten. Je mehr Entscheidungen auf allen Ebenen wir den Maschinen übertragen, desto mehr entwickeln sich eigene, den Schöpfern nicht immer bewusste Logiken, Probleme und Risiken. Bias ist im Prinzip ein Spezialfall dieses Problems. Mit autonomen Waffensystemen werden wir uns in den nächsten Jahren mit einem weiteren Aspekt näher beschäftigen müssen. In jedem Fall sollte die Bearbeitung des Themas früh genug erfolgen.
Es gibt noch weitere Themen wie politische Einflussnahme (Propaganda, Bots) und Deep Fakes, welche an anderer Stelle behandelt werden sollen. Inzwischen haben sich diverse, auch zwischenstaatliche Organisationen mit der Frage der KI-Ethik beschäftigt, so die "Hochrangige Expertengruppe für künstliche Intelligenz der Europäischen Kommission" in ihren "Ethik-Leitlinien für eine vertrauenswürdige KI" [3].
Chance oder Risiko?
Wie wir gesehen haben, bringt die zunehmende Entwicklung und Verbreitung Chancen für Angreifer wie Verteidiger mit sich oder anders gesagt Risiken für Verteidiger wie Bösewichter. In vergangenen Zeiten galt für "Cyber" immer, dass wahrhaft motivierte und mit Ressourcen ausgestattet Angreifer im Zweifel immer am längeren Hebel (Zeit, Wissen) sitzen und so jede Verteidigung durchbrechen können. Im Einzelfall mag das auch weiterhin stimmen. Trotzdem hat sich die Erkenntnis durchgesetzt, dass statistisch – also im Mittel und in der großen Vielzahl der Fälle – die Verteidigungsmaßnahmen ausreichen. Erst mit der drohend am Horizont aufziehenden Möglichkeit des Cyberwars scheint diese beruhigende Erkenntnis wieder ins Wanken gekommen zu sein.
Nun, mit "KI" auf dem Spielfeld und damit zukünftig potentiell im Arsenal der "Guten" wie der "Bösen" werden die Karten möglicherweise wieder neu gemischt werden: Verteidiger müssen sich schon heute mit den Möglichkeiten von ML und Co. auseinandersetzen, um beizeiten Schutz- und Gegenmaßnahmen zu entwickeln. Dies braucht nichts weniger als einen neuen Typ von Verteidigern – und vor allem mehr Forschung.
Damit dies gelingen kann, muss der Austausch zwischen den Communities "InfoSec" und KI zunehmen. Für die ML-Anwender und -Vordenker heißt das vor allem Beschäftigung mit
- Bedrohungsmodellierung (Threat Modeling),
- Angriffsvektoren,
- Risikoanalyse und Risikomanagement,
- Security by Design und Security by Default und
- Rechenschaftspflicht und Transparenz.
Wenn dieser Austausch gelingt und idealerweise auch noch Spaß macht, haben wir viel erreicht.
- Liggesmeyer, Peter: Vortrag auf dem IT-Sicherheitskongress des BSI, Bonn 2015.
- Machine Learning, Offense, and the future of Automation, Halvar Flake / Thomas Dullien, ZeroNights 2017 Keynote, Google Project Zero
- Expertengruppe für künstliche Intelligenz der Europäischen Kommission: Ethics guidelines for trustworthy AI
