Beyond CNNs: Wie Vision Transformers die Zukunft der Bildverarbeitung verändern

Die Vision Transformers markieren eine bemerkenswerte Innovation in der Bildverarbeitung, die auf der Transformer-Architektur fußt. Ursprünglich entwickelt wurden Transformers zur Verarbeitung von Texten im Kontext der natürlichen Sprachverarbeitung. Allerdings wurde bald erkannt, dass die Mechanismen, die ihnen zu Grunde liegen, auch auf die Verarbeitung von Bildern anwendbar sind. Zuvor richten wir unseren Blick in die Vergangenheit und schauen auf verschiedene Meilensteine und Entwicklungen der Bildverarbeitungsverfahren, die uns letztendlich zu den ViTs geführt haben.

Der ImageNet-Datensatz hat als Benchmark eine zentrale Rolle in der Entwicklung der Bildverarbeitung gespielt. Er umfasst Millionen von Bildern, die in feingranulare Kategorien unterteilt sind, und hat maßgeblich zur Evaluierung verschiedener Bildverarbeitungsalgorithmen beigetragen. Die Abbildung zeigt, wie verschiedene Verfahren und Modelle mit dem ImageNet-Datensatz evaluiert wurden und im Laufe der Zeit beeindruckende Ergebnisse erzielt haben. Zur Bewertung der Verfahren und Modelle wurde der Top-5 Error verwendet, der den Anteil der Fälle angibt, in denen die korrekte Klasse nicht unter den fünf am höchsten vorhergesagten Klassen ist.

Anfangs kämpften traditionelle Computer-Vision-Algorithmen tapfer, jedoch mit begrenztem Erfolg. Verfahren wie NEC-UIUC (2010) und XRCE (2011) erreichten Top-5 Errors von 28 bzw. 26 Prozent. Diese Methoden, obwohl innovativ für ihre Zeit, waren schlichtweg nicht in der Lage, die Komplexität und Vielfalt der Bilddaten zu bewältigen.

Dann betraten die Convolutional Neural Networks (CNNs) die Bühne und veränderten das Spiel grundlegend. Mit AlexNet (2012) begann ein Wandel, die durch Modelle wie ZFNet (2013) und VGG (2014) immer weiter vorangetrieben wurde. Der Top-5 Error sank rapide und 2014 lag er bereits bei 7,3 Prozent. Ein entscheidender Durchbruch kam dann 2014/2015, als CNNs erstmals die menschliche Leistung übertrafen. Eine Leistung, die viele für unmöglich hielten, wurde Realität.

Die Fortschritte endeten hier jedoch nicht. Mit ResNet (2015) und später EfficientNet (2019) wurden die Architekturen immer raffinierter, und die Top-5 Errors schrumpften weiter auf beeindruckende 3,1 Prozent. Diese Entwicklungen zeigten, dass CNNs nicht nur leistungsfähig, sondern auch anpassungsfähig sind, ständig neue Höhen erklimmend.

Der letzte Balken im Diagramm repräsentiert das Vision-Transformer-Modell CoCa aus dem Jahr 2022. Anders als die vorherigen Einträge basiert dieser Vergleich auf dem Top-1 Error, der eine härtere Messlatte darstellt, indem er nur die am höchsten vorhergesagte Klasse berücksichtigt. Trotz dieser strengeren Bewertung beeindruckt CoCa mit einer Fehlerquote von 9 Prozent, was zeigt, dass Transformers ernsthafte Konkurrenten zu CNNs sind.

Zusammengefasst demonstriert der Performance-Vergleich, dass Vision Transformers das Potenzial haben, die Bildverarbeitung weiter zu revolutionieren. Obwohl die Reise von traditionellen Algorithmen zu CNNs bereits beeindruckend war, könnte der nächste große Schritt in der Ära der Transformers liegen.

Funktionsweise der Vision Transformers in a Nutshell

Nachdem wir Vision Transformers und seine Potentiale in die Historie der Bildverarbeitungsverfahren eingeordnet haben, tauchen wir nun tiefer in die Welt der Vision Transformers ein und versuchen zu verstehen, wie es den ViTs möglich ist, diese Leistungen zu erreichen. Zunächst schauen wir uns die Transformer-Architektur an, bevor wir nachvollziehen, wie ViTs diese Architektur für Bildverarbeitungsprobleme verwenden.

Ein zentraler Mechanismus innerhalb der Transformer-Architektur ist der sogenannte "Self-Attention-Mechanismus". Dieser Mechanismus ermöglicht es, dass jedes Element eines Eingabedatensatzes, sei es ein Wort in einem Text oder ein Teil eines Bildes, in Bezug zu jedem anderen Element gesetzt wird. Der Kerngedanke besteht darin, dass jedes Element der Eingabe in drei unterschiedlichen Matrizen repräsentiert wird, die als Query-, Key- und Value-Matrizen bekannt sind. Der Self-Attention-Mechanismus berechnet nun für jedes Paar von Elementen in der Eingabe eine Gewichtung, basierend auf der Übereinstimmung der Query des einen Elements mit dem Key des anderen. Diese Gewichtungen repräsentieren die "Aufmerksamkeit", die jedes Element den anderen "schenkt".

In der natürlichen Sprachverarbeitung ist dies von großer Bedeutung, da der Kontext eines Wortes in einem Satz dadurch besser verstanden wird. Nehmen wir als Beispiel das Wort "Bank", das sowohl als Sitzgelegenheit als auch als Geldinstitut interpretiert werden kann. Der Self-Attention-Mechanismus ermöglicht es dem Transformer, diese Unterschiede zu erkennen und entsprechend zu interpretieren.

Wie aber wird dieser Mechanismus auf Bilder angewendet? Vision Transformers gehen einen innovativen Weg, indem sie ein Bild in kleine quadratische Patches teilen, ähnlich wie Wörter in einem Text. In der ursprünglichen Arbeit über Vision Transformers wurden beispielsweise 16x16 Pixel große Patches verwendet. Jeder dieser Patches wird dann als ein "Wort" in der "Bildsprache" behandelt. Den einzelnen Patches werden noch Informationen über die Position (Position Embeddings) der Patches im Bild hinzugefügt.

Der Self-Attention-Mechanismus erlaubt dem Vision Transformer, den Kontext jedes Patches im Verhältnis zu allen anderen zu verstehen. Dies bietet die Möglichkeit einer globalen Kontextbetrachtung über das gesamte Bild hinweg, die über die lokale Sichtweise der CNNs hinausgeht. Dieser Ansatz ermöglicht es ViTs, komplexe Muster und Zusammenhänge in den Bildern zu erkennen, die für CNNs unzugänglich wären. Es ist diese Fähigkeit zur globalen Kontextbetrachtung, die Vision Transformer zu einer vielversprechenden Alternative zu herkömmlichen Bildverarbeitungsmethoden macht.

Ausgehend von einer Eingabesequenz werden drei Vektoren gebildet: der Query-, Key- und Value-Vector. Diese Vektoren ermöglichen den Vergleich zwischen den Elementen der Eingabesequenz. Der Query-Vector eines Elements wird mit dem Key-Vector eines anderen Elements verglichen, um die sogenannten "Attention Scores" zu berechnen. Eine Softmax-Funktion wandelt diese Scores in Wahrscheinlichkeiten, die "Attention Weights", um. Schließlich werden die Value-Vektoren, gewichtet durch diese Wahrscheinlichkeiten, summiert, um die Ausgabesequenz zu bilden.

Die Transformer-Architektur besteht traditionell aus zwei Hauptkomponenten: dem Encoder, der die Eingabedaten in eine Reihe von Repräsentationen umwandelt, und dem Decoder, der diese Repräsentationen nutzt, um die endgültige Ausgabe zu generieren. Jeder dieser Teile enthält mehrere Layer, bestehend aus Selbst-Attention-Layern und Position-wise-Feed-Forward-Netzwerken, die wiederholt angewendet werden, um den Datenkontext zu erlernen.

Bei der Anwendung auf die Bildverarbeitung verwenden Vision Transformers nur den Encoder-Teil der ursprünglichen Architektur. Das liegt daran, dass viele Bildverarbeitungsaufgaben, wie beispielsweise die Bildklassifikation, das Ziel verfolgen, eine feste Anzahl von Ausgaben zu erzeugen. Dies steht im Kontrast zur Sequenz-zu-Sequenz-Natur der meisten Sprachverarbeitungsaufgaben.

Abb. 3 zeigt den Aufbau eines solchen Encoders. Ausgehend von einem Eingangsbild wird dieses in kleine Patches unterteilt und geflattet. Zusätzlich wird ein Positions-Embedding hinzugefügt, um Positionsinformationen zu berücksichtigen. Diese eingebetteten Patches stellen die Eingabe für den Encoder dar. Der Encoder besteht aus mehreren wiederholten Einheiten, die jeweils eine Normalisierung (Norm), Multi-Head Self-Attention und ein MLP (Multi-Layer Perceptron) umfassen. Durch die Self-Attention werden die Beziehungen zwischen den verschiedenen Patches erlernt. Die Ergebnisse dieser Berechnungen werden kombiniert und erneut normalisiert, bevor sie in die nächste Schicht übergehen.

Es gibt Anwendungsfälle in der Bildverarbeitung, wie etwa die semantische Segmentierung, bei denen ein Decoder benötigt wird. Hier kommt eine modifizierte Form eines Decoders zum Einsatz, der darauf ausgelegt ist, räumliche Informationen, die während des Encodierprozesses verloren gegangen sein könnten, wiederherzustellen. Ein prominentes Beispiel hierfür ist das Trans-U-Net-Modell für die medizinische Bildsegmentierung. Dabei wird ein Vision Transformer als Encoder und ein U-Net-ähnlicher Decoder verwendet, um eine hochauflösende Segmentierungsausgabe zu erzeugen.

Um die Leistungsfähigkeit von Vision Transformer zu demonstrieren, haben wir ein praktisches Beispiel durchgeführt. Ziel war es, unser Logo auf verschiedenen Bildern zu erkennen – eine anspruchsvolle Aufgabe, da dieses komplexe Logo in gängigen Datensätzen nicht vorkommt.

Wir nutzten den Per-Sam-Ansatz und trainierten das Modell mit nur einem einzigen Beispielbild. Trotz dieser Einschränkung und einer Trainingszeit von weniger als einer Minute auf einer CPU, zeigte das Modell bemerkenswerte Ergebnisse.

In den folgenden Testbildern sehen wir, wie das Modell das cc-Logo erkennt (© codecentric).