Mit den heutigen Möglichkeiten des maschinellen Lernens (ML) scheint es sinnvoll, ML für die Diagnose unterstützend einzubringen. Insbesondere Convolutional Neural Networks (CNNs) haben sich für die Klassifikation von Bildern bewährt.

Grundlagen

Grundsätzlich lernt ein Klassifikationssystem durch das Betrachten von Features. Die richtigen Features sind die entscheidenden Variablen für eine erfolgreiche Klassifizierung. In Bezug auf Bilddaten sind mögliche Features die Pixel eines Bildes. Die Position eines Pixels ist aussagekräftig, weshalb das Verwenden eines herkömmlichen neuronalen Netzes hier ausscheidet. Für derartige Grid-Topologien, wie es eine Ansammlung von Pixeln darstellt, ist ein CNN geeignet. Die Funktionsweise eines CNN unterteilt sich in zwei aufeinander aufbauenden Phasen.

In der ersten Phase, dem Feature Learning, werden die relevanten Features eigenständig durch das Netzwerk gefunden. Anders als bei anderen Netzwerktypen müssen demnach die Features nicht händisch bestimmt werden. Dabei wendet das Netzwerk in einer namensgebenden Convolutional-Schicht (kurz Conv-Schicht) mehrere verschiedene Filter an, welche beispielsweise zur Detektion von vertikalen oder horizontalen Kanten dienen. Die Größe der Filter wird dabei deutlich kleiner als das Eingangsbild gewählt, was zu einer reduzierten Anzahl an Verbindungen im Netz führt sowie die Anzahl der zu speichernden Gewichte reduziert. Infolgedessen wird die Berechnungsgeschwindigkeit gesteigert.

Die Gewichte der Filter werden im Zuge der Backpropagation angepasst, sodass die Fehlerquote gegenüber den markierten Trainingsdaten am Ende minimiert wird. Nach dem Anwenden der Filter entstehen Feature-Maps. Eine Aktvierungsfunktion entscheidet anschließend, welche Werte an die nächste Schicht weitergereicht werden. Eine bekannte und performante Aktivierungsfunktion ist die ReLu-Funktion: f(x)=max(0,x). Neben Conv-Schichten kommen auch Pooling-Schichten zum Einsatz. Mithilfe einer Pooling-Operation ist es möglich, die Matrixgröße zu reduzieren, mit dem Ziel, nur die relevanten Informationen zu behalten und die Berechnungsgeschwindigkeit zu erhöhen. Weiterhin führt die Pooling-Operation zu einer Translationsinvarianz wodurch die exakte Position nicht mehr so entscheidend ist. Dies führt dazu, dass relevante Stellen auch bei einer Verschiebung gefunden werden.

Die Ergebnisse einer Conv-Schicht werden zu einer nächsten Conv-Schicht weitergereicht. Während die Filter am Anfang simple Features detektieren, finden die Filter in den höheren Schichten komplexere Features.

Nach der Feature-Learning-Phase kommt die Klassifikation. Diese geschieht wie bei anderen neuronalen Netzwerktypen auch per Fully Connected Layer. Hierbei werden alle Neuronen der aktuellen Schicht mit allen Neuronen der nachfolgenden Schicht verbunden.Durch die Verbindungen werden Features kombiniert, und somit die eigentliche Klassifikation durchgeführt. Im Falle einer binären Klassifikation, also beispielsweise der Unterscheidung zwischen normaler und entzündeter Lunge, folgt nach der letzten Klassifikationsschicht eine Sigmoid-Aktivierungsfunktion. Hierdurch wird das Ergebnis auf 0 oder 1 eingestuft. Abhängig von der gewählten Zuordnung der Klassen fällt die Entscheidung für die eine oder die andere Klasse.

Datenanalyse und Vorverarbeitung

Die zu realisierende KI-Lösung wird anhand zweier Datensätze trainiert und getestet:

Nachdem die Daten analysiert und bereinigt sind, kann es nun an das Training gehen. Im Rahmen dieses Projekts kam ein Mehrschichten-Ansatz zum Einsatz, der in Abb. 3 illustriert ist. Umgesetzt wurde das Projekt in Python mit Tensorflow v2.2 (inkl. Keras).

Folglich wird ein Eingangsbild in die erste Schicht (S1) gegeben. Das darin enthaltene ML-Modell entscheidet zwischen dem Vorhandensein einer Lungenentzündung (Pneumonie) und einem gesunden Patienten (Normal).

Die zweite Schicht unterscheidet im Falle einer Lungenentzündung dann zwischen viraler und bakterieller Infektion. Eine zukünftige dritte Schicht könnte möglicherweise zwischen COVID-19 und anderen viralen Ursachen unterscheiden. Aufgrund der noch geringen Menge an frei verfügbaren Bildern zum Zeitpunkt des Projekts fiel eine Entscheidung gegen die Realisierung dieser Schicht aus.

Anders als bei anderen ML-Problemstellungen, können die Bilddaten aufgrund ihrer Größe nicht alle in den RAM geladen werden. Glücklicherweise stellt Keras hierfür eine Lösung in Form eines Image Data Generators bereit. Mit diesem ist es möglich, die Daten batch-weise in den RAM während des Trainingsprozesses zu laden. Gleichzeitig kümmert sich dieser um das Herunterskalieren der Eingangsbilder auf eine uniforme Größe. In diesem Fall wurde eine Bildgröße von 256x256 Pixeln gewählt. Weiterhin können Augmentation-Techniken definiert werden, sodass die Eingangsbilder teilweise zufällig transformiert werden. Dies erhöht die Robustheit des ML-Modells und kann einer Überanpassung (englisch: Overfitting) auf die Trainingsdaten entgegenwirken.

Die Entzündungen sind im Bereich der Lungenflügel lokalisiert. Oftmals besitzen Röntgenbilder nicht-pathologische Features, wie etwa Markierungen für rechts oder links (s. Abb. 4)

Um den Fokus in einem Training mehr auf die relevanten Bildbereiche zu lenken, ist die semantische Segmentierung der Lungenflügel ein möglicher Ansatz. Auch diese Segmentierung kann mittels eines neuronalen Netzes erlangt werden. In diesem Projekt wurde die Netzwerkarchitektur des U-Nets gewählt. Das U-Net [9] ist eine von der Uni Freiburg entwickelte Netzwerkstruktur, die insbesondere im Bereich der medizinischen Bilddaten erprobt ist.

Mithilfe der Bibliothek keras-unet [10] und dem Lung-Masks-Datensatz [11] erfolgt ein Training des Netzwerkes für die Segmentierung von Lungenflügeln. Das resultierende ML-Modell ist in der Lage, für ein Eingangsbild eine Maske der Lungenflügel anzufertigen (a. Abb. 5).

Nun bleibt die Frage zu klären, wie die Maskenerstellung sinnvoll in die bestehende Architektur integriert werden kann? Die Segmentierung liefert nicht immer ein ideales Ergebnis. Daher ist das bloße Trainieren auf den ausgestanzten Lungenflügeln nicht zielführend, da dies dazu führen könnte, dass wichtige Features ausgeschlossen werden, die bei einer Multiplikation mit der Maske verloren gehen. Aus diesem Grund wird der mittels der Maske ausgestanzte Bildausschnitt (Cut Out) als ein zusätzlicher Bildkanal in das ML-Modell gegeben. So gibt es nun neben dem Röntgenbild auch einen Kanal mit dem Cut Out in Grauwerten. Das Anfertigen des Cut Out mit drei Kanälen führte zu keinen besseren Ergebnissen in den Versuchen.

Die neue Segmentierungsschicht wird als Schicht 0 in das System eingehängt. Abb. 6 zeigt die neue Architektur.

Ergebnisse

Bei insgesamt 634 Testbildern (226 normal, 234 bakteriell, 174 viral) zeigte das Vorschalten der Segmentierung und das Integrieren des Cut Out in das ML-Modell deutliche Verbesserungen in der Klassifikation. Eine sinnvolle Metrik ist der F1-Score, welcher das harmonische Mittel zwischen Precision und Recall bildet. Er besitzt die Grenzwerte 0 (= Precision und Recall sind 0) und 1 (= perfekte Werte für Precision und Recall).

Im Test konnte der F1-Score für Schicht 2 im Falle "Normal" von 0.76 auf 0.84 und im Falle von "Pneumonie" von 0.89 auf 0.92 verbessert werden. Ein ähnlicher Trend zeigte sich in Schicht 3, wo die Klassifikation "bakteriell" von 0.84 auf 0.89 sowie "viral" von 0.80 auf 0.86 verbessert wurde. Auch konnten die falsch-negativen Fälle (FN-Fälle) in beiden Schichten (S1, S2) merklich reduziert werden. Die FN-Fälle sind Fälle, in denen das ML-Modell zum Beispiel eine Pneumonie deklariert hat, obwohl der Patient gesund ist. Gerade im Bereich der Medizin ist es wichtig, diese Fälle so gering wie möglich zu halten. Aus diesem Grund sollte gerade in einem medizinischen Kontext die beliebte Metrik der Genauigkeit (Accuracy) nicht als alleinige Metrik herangezogen werden, da FN-Fälle hierbei gleich gewichtet mit den falsch-positiven Fällen (FP-Fälle) gewichtet werden.

Wichtig für die Interpretation: Die aufgezeigten Ergebnisse stammen jeweils aus einem Lauf. Zwar zeigen mehrere Läufe eine ähnliche Tendenz, um endgültig belastbare Ergebnisse zu erhalten und damit eine Signifikanz festzustellen, sind allerdings weitere Techniken wie z. B. der Einsatz von Cross-Validierung notwendig.

Im Rahmen des Projekts wurde eine erste prototypische Webanwendung entwickelt, die das Analysieren von Röntgenbildern ermöglicht. Dabei werden die trainierten ML-Modelle der verschiedenen Schichten (S0, S1, S2) in Form von containerisierten Microservices über die Webanwendung angesteuert. Der gesamte Architektur-Stack ist in AWS lauffähig. Abb. 7 zeigt einen Screenshot der Webanwendung.

Limitationen und Übertragbarkeit der Methode

Gerade im KI-Bereich sind die Methode und das anwendende System nur so gut wie die Daten anhand derer es "gelernt" hat. Das hier vorgestellte KI-System kann eine Pneumonie ziemlich gut detektieren. Auch eine Unterscheidung zwischen viraler oder bakterieller Ursache ist möglich. Aufgrund der noch dünnen Datenlage rund um COVID-19 ist die Realisierung eines CNNs für die Unterscheidung zwischen COVID-19 und anderen viralen Ursachen nach unserer Ansicht noch nicht sinnvoll.

Generell ist die verwendete Datenmenge bei dem vorgestellten Prototypen eine Limitation, nicht aber das zugrunde liegende Prinzip – im Gegenteil – dieses kommt besser zum Tragen, wenn mehr Daten zugeführt werden. Zudem ist das Prinzip recht generalistisch. So ist es beispielsweise denkbar, die Segmentierung mit anschließender Klassifikation auch für andere Bereiche wie etwa zur Diagnose von bronchogenen oder anderen Karzinomen anzuwenden.

Zusammenfassung

In diesem Artikel wurde gezeigt, wie die Diagnose einer Pneumonie mithilfe eines KI-Systems unterstützt werden kann. Für die Verwendung der Röntgentechnologie spricht vor allem ein geringer Kostenfaktor, eine schnelle Erstellung der Bilder, sowie der geringere Dekontaminationsaufwand gegenüber CT. Zudem ist die Röntgentechnologie etabliert und damit ebenso in Entwicklungsländern verbreitet. Wichtig ist es zu verstehen, dass die Röntgenbilder immer nur eine Momentaufnahme darstellen. Demzufolge kann ein Patient trotz eines negativen Röntgenbildes infektiös sein. Es kann viele Faktoren geben, weshalb eine Entscheidung abweichend zu einem KI-System getroffen werden muss oder sollte. Daher ist ein Ansatz wie der hier vorgestellte als unterstützende Maßnahme zu sehen. Darüber hinaus sind vor einem tatsächlichen Einsatz weitere medizinische Studien nötig.

Unabhängig davon existiert ein großes Potenzial mithilfe von maschinellem Lernen die Diagnoseoptionen zu verbessern. Die Analyse der Röntgenbilder benötigt bereits im Prototyp nur wenige Sekunden, ein hoher Durchsatz wäre möglich, was insbesondere in Entwicklungsländern sinnvoll erscheint. Für weitere technische Details finden Sie das Projekt quelloffen auf Github.