Neuronale Netze: Ein Blick in die Black Box

Das "Wissen" eines Perzeptrons, also die Regeln, nach denen es bestimmte Aufgaben lösen kann, ist in den Gewichten gespeichert. Diese sind anfangs zufällig gewählt und müssen erst gelernt werden. Im Falle des Perzeptrons wird gelernt, indem die Gewichte des Perzeptrons derart angepasst werden, dass die gegebenen Daten möglichst fehlerfrei durch eine lineare Funktion getrennt werden. Der hierfür verwendete Perzeptron-Algorithmus passt die Gewichte nur dann an, wenn der Ausgabewert des Neurons vom Sollwert abweicht. Andernfalls bleiben die Gewichte unverändert. Da bei mehrschichtigen neuronalen Netzen nicht mehr direkt von der Eingabe auf die Ausgabe geschlossen werden kann, ist hierfür der Perzeptron-Lernalgorithmus nicht mehr anwendbar. Der Fehler, also der Unterschied zwischen Ausgabewert und Sollwert, kann nur für die Ausgabeschicht, nicht aber für die verdeckten Schichten gemessen werden.

Die Lösung bietet der sogenannte Backpropagation-Algorithmus, der es erlaubt, den Fehler von der Ausgabeschicht durch das Netzwerk zurückzupropagieren – schematisch dargestellt in Abb. 3. Dem anfangs noch unkalibrierten Netz wird ein Trainingsdatum, bestehend aus Eingabemerkmalen und zugehöriger Sollausgabe, zugeführt. Das Netz erstellt basierend auf den Eingabemerkmalen und den Gewichten eine Ausgabe y‘. Die Abweichung zwischen der Ausgabe des Netzes und der Sollausgabe y wird über eine Fehlerfunktion E gemessen. Der gemessene Fehler wird durch das gesamte Netz zurückgeführt, sodass darauf basierend die Gewichte des Netzes angepasst werden können. Diese Gewichtsanpassung kann als Optimierungsproblem verstanden werden, bei dem es gilt, E zu minimieren.

Besonders relevant ist dieser Aspekt auch für medizinische Anwendungen. Hier kann der Einsatz von KI Ärzte durch hochpräzise Vorhersagen bei der Diagnose von Krankheiten unterstützen und gleichzeitig helfen, menschlichen Fehlern vorzubeugen. Eine Anwendung von tiefen neuronalen Netzen in der Medizin ist die Analyse von Thoraxröntgenbildern, um Lungenentzündungen zu erkennen. Mithilfe von KI könnte eine Diagnose binnen 10 Sekunden und nicht wie bisher nach rund 20 Minuten erstellt werden [8]. Eine Gruppe von Forschern hat für ein solches Netz geprüft, aufgrund welcher Bildbereiche das Netz ein Risiko für Lungenentzündungen ausgibt [9]. Betrachtet man das in Abb. 5 links dargestellte Röntgenbild, so indiziert hier der Bereich in der oberen rechten Lunge eine Lungenentzündung. Untersucht man aber nun, welche Bildbereiche für das Netz wirklich relevant waren (Abb. 5, rechts), so sieht man, dass dem ursächlichen Bereich hier sogar ein negativer Einfluss zugewiesen wurde – erkennbar an den negativen Werten im linken oberen Bereich des Bildes. Erstaunlicherweise werden dem Schriftzug "Portable" und den Seitenmarkierungen in der oberen rechten Ecke, die dem verwendeten mobilen Scanner zugeordnet sind, ein positiver Einfluss zugewiesen. Es haben also nicht die tatsächlich ausschlaggebenden Bildbereiche zur Risiko-Attestierung "Lungenentzündung" beigetragen, sondern die Indikatoren für die Verwendung eines mobilen Röntgengerätes, welches in der Regel eingesetzt wird, wenn der Patient zu krank ist, um aus dem Bett zu kommen.

Das neuronale Netz könnte also gelernt haben, einen Zusammenhang zwischen mobilen Röntgenaufnahmen und einem erhöhten Risiko für eine Lungenentzündung herzustellen (Korrelation), obwohl die mobile Aufnahme nicht die eigentliche Ursache der Lungenentzündung ist (Kausalität). Sollen deep-learning-basierte Anwendungen tatsächlich für die computergestützte Diagnose eingesetzt werden, so zeigt dieses Beispiel, dass eine genaue Überprüfung der Entscheidungsweise oder zumindest eine intensive Überprüfung des Modells unvermeidlich ist.

Auch bei sicherheitskritischen Anwendungen, in denen neuronale Netze eingesetzt werden, ist das Verständnis der generellen inneren Abläufe dieser Netze unerlässlich. Kommt etwa ein neuronales Netz bei der Programmierung eines Roboters zum Einsatz, so muss dieses System zur Abnahme einer Sicherheitsprüfung unterzogen werden. Bei dieser muss die gesamte Funktionsweise des Systems ersichtlich und nachvollziehbar sein, um eine regelkonforme Arbeitsweise des Roboters garantieren zu können. Besonders relevant ist dieser Aspekt, wenn Roboter mit Menschen zusammenarbeiten sollen. Des Weiteren werden neuronale Netze aktuell bereits auch für die Anwendung von bisher regelbasiert arbeitenden Systemen wie Steuergeräten erprobt. Wie im vorherigen Fall ist auch hier die Sicherheitsprüfung dieser Systeme, etwa durch den TÜV, eine Hürde auf dem Weg, diese Verfahren in den praktischen Einsatz zu überführen. Es müssen also Verfahren gefunden werden, die die inneren Entscheidungswege neuronaler Netze erklären oder zumindest deren korrekte Funktionsweise verifizieren können.

Blick in die Black Box: Erklärung neuronaler Netze

Eine Möglichkeit, die generelle Arbeitsweise neuronaler Netze zu erklären, ist die Abbildung des Netzes mittels inhärent interpretierbarer Modelle, sogenannter White-Box-Modelle, wie Entscheidungsbäumen oder Entscheidungsregeln. Entscheidungsbäume bestehen aus internen Knoten, die zu überprüfende Bedingungen definieren, und Blattknoten, die Klassen darstellen. Möchte man ein Datum mithilfe eines Entscheidungsbaums klassifizieren, wird der Baum von oben nach unten traversiert, bis man einen Blattknoten erreicht, der die Klasse codiert. Um ein Black-Box-Modell nun mithilfe eines solchen White-Box-Modells erklären zu können, wird im ersten Schritt das Black-Box-Modell, etwa ein neuronales Netz, gelernt (s. Abb. 6). Im Anschluss kann ein interpretierbares Stellvertretermodell – auch als Surrogat bezeichnet – aus dem neuronalen Netz extrahiert werden, welches dann zur Erzeugung von Erklärungen genutzt werden kann.

Konkret funktioniert die Extraktion eines Entscheidungsbaums aus einem neuronalen Netz wie in Abb. 6 links dargestellt. Zuerst wird unter Zuhilfenahme des neuronalen Netzes für alle Eingabedaten, bestehend aus Merkmalen und einer Sollausgabe, eine Vorhersage berechnet. Im Anschluss werden die Eingabemerkmale zusammen mit der Vorhersage des neuronalen Netzes dazu verwendet, einen Entscheidungsbaum zu trainieren. Oftmals besitzen die auf diese Weise extrahierten Entscheidungsbäume eine relativ geringe Vorhersagegenauigkeit und Wiedergabetreue, d. h. die Entscheidungen des Entscheidungsbaums stimmen nicht mit denen des neuronalen Netzes überein. Eine Möglichkeit, dieser Herausforderung zu begegnen, ist, die Struktur des neuronalen Netzes so zu beeinflussen, dass aus dem Netz extrahierte Entscheidungsbäume ein aussagekräftiges Erklärmodell liefern. Dieses Ziel kann durch eine Anpassung der Lernregel, konkret durch den Einsatz von Regularisierung, erreicht werden. Hierbei wird der Fehlerfunktion (vgl. Abb. 2), welche den Fehler zwischen Sollausgabe und Ausgabe des Netzes beschreibt, eine weitere Bedingung, der sogenannte Regularisierungsterm, hinzu addiert. Dieser bestraft bestimmte Eigenschaften der Gewichte, sodass diese während des Trainings "gezwungen" werden, sich nach dem gewünschten Verhalten auszurichten.

Üblicherweise wird Regularisierung dazu verwendet, das zuvor beschriebene Overfitting zu vermeiden. Es existieren jedoch bereits Ansätze, die Regularisierung einsetzen, um die Struktur von neuronalen Netzen so zu beeinflussen, dass extrahierte Surrogate bestimmten Kriterien (z. B. Größe, Zuverlässigkeit etc.) genügen. Der Tree Regularizer [10] schätzt die Größe des Entscheidungsbaums, während der L1-orthogonal Regularisierer in [11] neuronale Netze mit wenigen, aber orthogonalen Gewichten favorisiert. Beides führt zu neuronalen Netzen mit Entscheidungsgrenzen, die von Entscheidungsbäumen gut angenähert werden können. Die Bäume sind gleichzeitig von geringer Größe, wodurch sie für den Menschen leicht verständlich sind.

Blick in die Glaskugel: wohin geht die Reise?

Schon heute existiert eine Vielzahl an Methoden und Techniken, die uns Menschen erlauben, einen ersten Blick in die Black Box zu werfen. Doch sind wir noch lange nicht am Ziel angekommen. Stand heute gibt es bereits eine Vielzahl an Unternehmen, die die enormen Potenziale der künstlichen Intelligenz nutzt, sei es in hochrelevanten Anwendungen, wie der computergestützen Diagnose im Gesundheitswesen oder dem autonomen Fahren, aber auch zur anfangs erwähnten Bekämpfung des Falschgeldgebrauchs. Auf der anderen Seite stehen viele Firmen hier aufgrund bisher nicht erkannter Potenziale, fehlenden Know-hows oder gesetzlicher Hürden erst am Anfang. Doch mit steigender Verbreitung der KI-Anwendungen wird auch der Bedarf von Erklärbarkeit der eingesetzten Algorithmen steigen. Hier gilt es, bereits existierende Verfahren in die Anwendung zu überführen und neue Methoden zu entwickeln. Auch die Frage, welche Art der Erklärung für welche Zielgruppe am besten geeignet ist, wird hierbei noch eine große Rolle spielen. Schließlich hat ein Endanwender ein anderes Interesse an einem KI-Verfahren als der Experte, der es programmiert hat und selbst besser verstehen will.