Dr. Shirin Glander 22. Mai 2018

Künstliche Intelligenz und Erklärbarkeit

Die schier unendlich erscheinenden Möglichkeiten von KI lösen nicht nur Begeisterung aus, sondern auch Skepsis. © sdecoret / Fotolia.com — © sdecoret / Fotolia.com

Was bedeutet das im Hinblick auf die neue EU-Datenschutz-Grundverordnung und wie können wir Erklärungen geben? Und warum ist das überhaupt eine Frage, die wir uns stellen sollten?

Künstliche Intelligenz (KI) und maschinelles Lernen (Machine Learning) werden inzwischen in fast allen Bereichen unseres Lebens eingesetzt. Viele davon sind uns bewusst, wie Facebooks News Feed, Googles Werbeprofile, die meistbietend erworben werden können, um uns möglichst passende Werbung anzuzeigen, Siri, Alexa, Cortana und Co, Netflix-Empfehlungen und so weiter. Aber auch in vielen anderen Produkten findet sich KI – wenn auch nicht so offensichtlich: Gesichts- und Handlungserkennung bei Überwachungskameras, Preise für Fahrten mit Uber und Lyft, Autopiloten im Flugzeug, Spamfilter bei Emails, Betrugserkennung bei Kreditkartennutzung und viele mehr.

Dass KI so omnipräsent ist liegt schlicht daran, dass Algorithmen oft effizienter und schneller sind als Menschen, vor allem, wenn es um leicht automatisierbare Aufgaben geht. Durch die in den letzten Jahren stark angestiegenen Datenmengen und Rechenkraft sind Algorithmen inzwischen auch extrem gut darin geworden, intuitive Aufgaben zu lösen, wie zum Beispiel das Erkennen von Objekten auf Bildern, Übersetzen und Wiedergabe von Sprache und sogar darin, Kunst, Videos und Texte realistisch zu generieren [1].

All das führt dazu, dass KI – obwohl es die Konzepte schon deutlich länger gibt – erst seit kurzer Zeit einen regelrechten Hype erlebt. Angefangen hat dieser Hype sicherlich in der rein wissenschaftlichen und professionellen Szene, inzwischen ist er aber längst in der breiten Masse angekommen. Spätestens seit AlphaGo berichten die Medien immer mehr über die Wunder und schier unendlich erscheinenden Möglichkeiten von KI [2]. Das löst naturgemäß nicht nur Begeisterung aus, sondern trifft bei vielen auch auf große Skepsis.

Nicht nur Datenschutz ist da eine Frage, die sich die Gesellschaft (zu Recht) stellt – also die Fragen:

wo kommen diese Daten über mich her?,
wo werden die überall gespeichert?,
wer hat dann darauf Zugriff? und nicht zuletzt
wofür werden diese Daten verwendet?

Durch diese wichtigen Fragen ist das Thema auch für die Politik inzwischen von Bedeutung.

Hinzu kommt, dass KI inhärent komplex ist. Die Algorithmen sind nicht nur mathematisch schwer zu durchschauen, sondern durch die hohe Dimensionalität und Abstraktion von zum Beispiel Deep Learning sind auch ihre Entscheidungen kaum mehr nachzuvollziehen – selbst für Wissenschaftler und Data Scientisten. Das macht es natürlich gerade Laien sehr schwer, Möglichkeiten und Gefahren von KI ab- und einzuschätzen und man fragt sich, ob wir bereits in der "Schönen Neuen Welt" angekommen sind [3].

Gibt es in Zukunft ein Recht auf Erklärungen für von Algorithmen getroffene Entscheidungen?

Besonders relevant ist diese Frage der Erklärbarkeit im Hinblick auf die ab dem 25. Mai 2018 bindend geltende EU-Datenschutz-Grundverordnung (DSGVO). Diese Verordnung soll den Datenschutz für alle EU-Bürger stärken und einheitlich machen. Für alle, die Machine Learning-Modelle in Produktion bringen, die einzelne Personen direkt betreffen, werden dann vor allem die Paragraphen 13, 14, 15 und 22 interessant. Das entscheidende Zitat besagt:

"Werden personenbezogene Daten […] erhoben, so teilt der Verantwortliche […] Folgendes mit: das Bestehen einer automatisierten Entscheidungsfindung […] und […] aussagekräftige Informationen über die involvierte Logik […]." [4]

Was das juristisch genau bedeutet, wird im Moment heftig diskutiert. Deutlich macht es aber die Brisanz und Aktualität des Themas!

Können wir KI vertrauen?

Diese Frage sollten sich nicht nur die Gesellschaft, die Medien und Politiker stellen, sondern vor allem auch wir Data Scientisten, die diese Modelle entwickeln. Wir – die Experten – können am besten einschätzen, ob unsere Modelle das halten, was sie versprechen und ob wir sie guten Gewissens auf die Gesellschaft loslassen können.

Wir Data Scientisten erwarten von einem guten Modell, dass es hohe Genauigkeitswerte wie Accuracy, Kappa, Precision oder Recall erreicht. Wir müssen aber auch in der Lage sein, unsere Modelle "verkaufen" zu können, das heißt, sie erklären und rechtfertigen zu können.

Im Gegensatz dazu will der Benutzer eines Produkts, das mit KI arbeitet, in der Regel nachvollziehen können, warum gewisse Entscheidungen getroffen wurden und warum das Produkt so reagiert, wie es das tut und nicht anders. Ähnlich erwarten Politiker Transparenz von KI, denn sie wollen die Gesellschaft vor Missbrauch und Schaden schützen.

Warum sind Machine Learning-Modelle "Black Boxes"?

Ein typischer Machine Learning-Workflow beginnt mit dem Sammeln von Daten; diese werden dann aufbereitet und bereinigt, bevor wir mit dem Trainieren von Modellen beginnen. Schließlich wird das beste Modelle anhand von Qualitätskriterien ausgewählt. An dieser Stelle endet in der Regel der analytische Teil und wir geben unser Modell in die Produktion. Aber können wir uns wirklich sicher sein, dass unser Modell das tut, was wir erwarten? Können wir ihm wirklich vertrauen?

Ein bekanntes Phänomen im Bereich KI und Machine Learning ist, dass wir einen Trade-Off haben zwischen Erklärbarkeit und Komplexität. Je komplexer ein Modell ist, desto schwieriger ist es, seine Entscheidungen nachzuvollziehen. Ein lineares oder logistisches Modell bildet einfache Zusammenhänge ab und ist damit leicht zu erklären. Allerdings bedingt diese Simplizität, dass wir sie nur begrenzt anwenden können, denn viele Probleme in der echten Welt folgen komplexeren Regeln. Im Gegensatz dazu kann ein tiefes neuronales Netz (Deep Learning) sehr komplexe Zusammenhänge mit hoher Abstraktion modellieren; das macht es extrem erfolgreich darin, echte Probleme darzustellen, wird damit aber gleichzeitig für unser limitiertes Gehirn undurchschaubar – quasi zu einer "Black Box".

Warum sollten wir KI besser verstehen?

Oben habe ich den typischen Workflow eines Machine Learning-Modells dargestellt. Dieser enthielt keinen Punkt zu Erklärungen, denn rein aus technischer Sicht ist das nicht nötig, um ein gutes Modell zu trainieren. Trotzdem möchte ich hier dafür argumentieren, dass es sehr sinnvoll und hilfreich sein kann, diesen zusätzlichen Schritt in seinen Workflow einzubringen.

Verbesserung unserer Modelle

Wenn wir wissen, auf welchen Features und Grundlagen unser Modell Entscheidungen und Vorhersagen trifft, können wir besser einschätzen, ob diese gelernten Regeln Sinn machen und auch für generelle Vorhersagen taugen. Mit dieser Art "Sanity Check" können wir vermeiden, dass unser Modell falsche Schlüsse zieht. Mehrere Beispiele werden in einem Paper von Marco Ribeiro und Kollegen genannt [5]. Zum Beispiel trainieren sie ein Modell, dass Wölfe von Huskys unterscheiden soll; auf Testbildern war dieses Modell sehr gut, doch es stellte sich heraus, dass in den Testdaten die meisten Wölfe vor Schnee fotografiert waren – und das Modell erlernte im Prinzip, Schnee im Hintergrund zu erkennen.

Erklärungen schaffen Vertrauen und Transparenz

Nur wenn wir die Entscheidungen eines Modells nachvollziehen können, werden wir ihm wirklich vertrauen. Das ist natürlich besonders wichtig, wenn es um KI in der Medizin geht. Heute gibt es bereits eine Reihe sehr guter Modelle, die zum Beispiel Brustkrebs auf Mammographie-Bildern oder Hirntumore auf MRI-Scans erkennen. Allerdings erwarten wir natürlich mehr als einen Konfidenzwert eines Algorithmus, um eine Therapie einzuleiten – oder sie sogar wegzulassen! Erklärungen dieser medizinischen Modelle kann es Ärzten erleichtern, sie wirklich für eine Diagnose und Therapie zu nutzen und ihr volles Potenzial auszunutzen.

Aber auch in anderen Geschäftsbereichen ist Vertrauen und Transparenz wichtig. Wenn wir ein Modell in Produktion bringen, dass nicht das hält, was es versprach, schadet das zum Eine der Firma: sie wird in der Zeit der Evaluation des Modells Verluste machen. Aber auch wir als Data Scientists verlieren Zeit, in der wir Fehler suchen und ein neues Modell trainieren müssen. Und wir verlieren natürlich auch Glaubwürdigkeit und Vertrauen in unsere Arbeit.

Erklärungen können helfen, Vorurteile zu identifizieren und Bias zu vermeiden

Ein wichtiger ethischer und moralischer Punkt ist die Fairness von KI. Da die Basis für jedes Machine Learning-Modell die Daten sind, die in das Training einfließen, ist es besonders wichtig, zu erkennen, wenn in den Daten versteckte Vorurteile gelernt werden. Unser Modell kann sonst zu einer selbsterfüllenden Prophezeiung werden. Das kann gesellschaftlich schwere Auswirkungen haben!

Denn wir entwickeln uns als Gesellschaft in den letzten Jahren stark: Gleichberechtigung und Inklusion sind wichtige Themen geworden, die Stück für Stück mehr in der breiten Masse ankommen. Historische Daten enthalten aber immer noch diese Vorurteile, die wir eigentlich ausmerzen wollen.

Wenn wir nun zum Beispiel ein Modell trainieren, das die Kreditwürdigkeit beurteilen soll und dieses Modell auf Daten beruht, die Vorurteile gegenüber Minderheiten beinhalten, wird das Modell diese im Zweifel lernen. Ähnlich verhält es sich mit Modellen, die Bewährungsstrafen oder Job-Kandidaten vorschlagen sollen. Wenn wir in der Lage sind, zu erkennen, wenn solche Feature zur Entscheidung unseres Modells beitragen, können wir besser daran arbeiten, solche Feature entweder zu entfernen oder nach anderen Lösungen zu suchen.

Wie können wir eine bessere Erklärbarkeit schaffen?

Es gibt mehrere Ansätze, um eine bessere Erklärbarkeit von KI und Machine Learning-Modellen zu erreichen. Wichtig ist dabei vor allem, dass wir die Genauigkeit von komplexen Modellen wie Deep Learning nicht einbüßen möchten. Dabei ist Erklärbarkeit deutlich mehr als die sogenannte Feature-Wichtigkeit, bei der Entscheidungsbäume anhand der Daten erstellt werden, die den Grad der Unreinheit (impurity) maximieren; die mittlere Abnahme an Unreinheit jedes Features gilt dann als Maß für die globale Wichtigkeit in dem Modell.

Eine andere Herangehensweise sind Partial Dependence Plots. Dabei handelt es sich um Visualisierungen der marginalen Effekte von einer oder mehreren Variablen auf das Ergebnis (Output), ähnlich zu den Koeffizienten in linearen oder logistischen Regressionsmodellen. Da wir Menschen in unserer Wahrnehmung und unserer Fähigkeit, komplexe Zusammenhänge zu verstehen, limitiert sind, ist diese Methode allerdings auf einige wenige Variablen begrenzt; wir können mit ihr also nur Teil-Korrelationen auf einen Blick erfassen. Partial Dependence Plots sind deshalb anfällig für Fehlschlüsse.

Local Interpretable Model-agnostic Explanations (LIME)

Eine sehr interessante und umfassende Methode, um Erklärbarkeit zu schaffen, ist LIME. LIME steht für Local Interpretable Model-agnostic Explanations und bezeichnet Erklärungen, die lokal mit einfachen, interpretierbaren Modellen gefunden werden und so ein annäherungsweises Verständnis von komplexen Machine Learning-Modellen möglich machen.

Code-Beispiel [6]:

Library(lime)

explainer <- lime(train_x, 
                  model_rf, 
                  n_bins = 5, 
                  quantile_bins = TRUE)

explanation_df <- lime::explain(test_x, 
                                explainer, 
                                n_labels = 1, 
                                n_features = 8,
                                n_permutations = 1000,
                                feature_select = 
                                     "forward_selection")

LIME wurde erstmals 2016 beschrieben [5] und ist ein mathematischer Ansatz, um Vorhersagen von Klassifikationsmodellen Modell-agnostisch zu erklären. Geschrieben ist LIME in Python, das Konzept wurde aber auch bereits in einem R-Paket adaptiert [7].

LIME basiert auf drei Prinzipien:

Erklärungen werden lokal und für jede Instanz unabhängig gefunden.
Ein einfaches Modell wird lokal an Vorhersagen des komplexen Modells angepasst.
Erklärungen werden anhand der ursprünglichen Variablen gegeben, auch wenn die tatsächliche Klassifikation auf Abstraktionen der Originalvariablen beruht, wie in einem Convolutional Neural Net (CNN).

Das bedeutet, dass die Erklärungen direkt nachvollziehbar sind und wir zum Beispiel die Pixel in einem Bild markieren können, die für die Klassifikation entscheidend waren. Bei klassischen tabellarischen Daten erfahren wir, welche der Features am stärksten und in welcher Form zur Klassifikation beigetragen haben; oder wir können sehen, welche Wörter in einem Text für die Vorhersage des Modells am wichtigsten waren.

Abb. 1: LIME. Erklärungen für sechs Beispiel-Instanzen aus einer Nierenerkrankungs-Studie. — Abb. 1: LIME. Erklärungen für sechs Beispiel-Instanzen aus einer Nierenerkrankungs-Studie [8].

Die genaue Funktionsweise von LIME ist dabei wie folgt:

Das Machine Learning-Klassifikationsmodell wird zunächst wie gewohnt trainiert. Dabei kann jeder Algorithmus verwendet werden, wie zum Beispiel Random Forest, Gradient Boosting-Entscheidungsbäume, neuronale Netze und so weiter.
Erklärungen werden dann mit LIME für einzelne Instanzen gesucht.
Eine Instanz wird dafür zunächst permutiert. Das heißt, dass die Daten im Prinzip multipliziert und leicht verändert werden. Die Veränderung passiert dabei zufällig aber durch Sampling aus der Verteilungskurve der Werte. Bei Textmodellen werden einzelne Wörter auch nach dem Zufallsprinzip weggelassen.
Nun wird das komplexe trainierte Modell auf jede der Permutationen angewendet; dadurch erhalten wir Vorhersagewerte für jede der Permutationen. Diese Werte müssen für LIME die Form von Wahrscheinlichkeitsverteilungen haben, also zwischen 0 und 1 liegen und in Summe über alle möglichen Klassen 1 ergeben.
Außerdem wird für jede Permutation die Distanz, bzw. Ähnlichkeit zur Original-Instanz berechnet, also der Grad an Unterscheidung umgewandelt in einen Ähnlichkeitswert. Dabei kann im Prinzip jede Distanz- und Ähnlichkeits-Metrik verwendet werden. Standard sind cosine similarity für Textmodelle und Euklidische Distanz für andere Modelle.
Dann werden die wichtigsten Variablen bestimmt. Dafür entscheiden wir zuerst, wie viele Variablen wir in unsere Erklärungen einfließen lassen wollen (in der Regel zwischen 5 und 10). Wenn wir uns zum Beispiel für 8 entscheiden, werden die 8 wichtigsten Variablen ausgewählt. Um die Wichtigkeit zu bestimmen, können wir zwischen verschiedenen Möglichkeiten wählen: Forward Selection und Ridge Regression Fit, größte Gewichte im Ridge Regression Fit, lasso Regularisierung oder Entscheidungsbaum-Splits.
Schließlich wird ein einfaches Modell (zum Beispiel eine logistische Regression oder – der Standard – eine Ridge Regression [9]) lokal an die Vorhersagen angepasst, das heißt an die Wahrscheinlichkeitsverteilung über die Klassen. Die Ähnlichkeiten zur Original-Instanz fließen dabei als Gewichte in das Modell ein (Abb. 1 und 2).

Abb. 2: Beispiel-Dashboard, das die Anwendung von LIME anhand eines Betrugserkennungsmodells zeigt. — Abb. 2: Beispiel-Dashboard, das die Anwendung von LIME anhand eines Betrugserkennungsmodells zeigt [10].

Fazit

Es existieren noch einige andere Möglichkeiten, wie man Machine Learning-Modelle erklären kann, zum Beispiel k-LIME oder die intermediären Knoten aus versteckten Schichten von neuronalen Netzen zu visualisieren [11]. Darüber hinaus wird in diesem Feld aktiv und viel geforscht, so dass es in Zukunft sicher noch andere (bessere?) Arten geben wird, komplexe Machine Learning-Modelle nachvollziehbarer zu machen.

Wir müssen sicherstellen, dass unsere Modelle keinen persönlichen oder gesellschaftlichen Schaden verursachen!

Wie wir letztendlich auf diese Erklärungen reagieren, ist von Problem zu Problem unterschiedlich. Falls wir fehlerhafte Entscheidungen finden, können wir unsere Features und Modelle entsprechend adaptieren. Vielleicht müssen wir unsere Trainingsdaten erweitern oder so vorbereiten, dass der Bias entfernt werden kann, zum Beispiel in dem wir Features wie Geschlecht, ethnischer Hintergrund und damit korrelierende Eigenschaften nicht zum Trainieren von Modellen nehmen. In einigen Fällen sollten wir uns eventuell sogar überlegen, ob wir einen Algorithmus überhaupt in Produkte einbauen sollten.

Dieses Thema ist nicht nur für die Informatik- und Data Science-Welt, sondern auch gesamtgesellschaftlich von großer Bedeutung. Darum möchte ich an alle, die mit Machine Learning-Modellen arbeiten, appellieren, dieser Verantwortung gerecht zu werden. Denn gerade wir, die über die größte fachliche Expertise verfügen, müssen sicherstellen, dass unsere Modelle keinen persönlichen oder gesellschaftlichen Schaden verursachen!

Quellen