Mensch oder KI? Erkennen von KI-generierten Texten mit Convolutional Neural Networks

Gegenwärtige generative KIs sind Neuronale Netze, die fast ausschließlich auf der Tranformer-Architektur basieren, die 2017 von Google Brain und Google Research Forschenden erfunden wurde [15]. Die Transformer-Architektur selbst besteht aus mehreren Transformer-Layern: Schichten von identischen Neuronalen Netzwerkkomponenten, die den Attention-Mechanismus verwenden um Abhängigkeiten zwischen ihren Eingaben zu Lernen. Die technischen Details sollen an dieser Stelle dahinstehen – für uns soll nur eine grundlegende Eigenschaft der Transformer-Layer relevant sein: sie nehmen jeweils gleichartige Eingaben entgegen und geben gleichartige Ausgaben aus. Die Architektur hat dabei jeweils am Anfang und Ende der Schichten andere Komponenten, die für das Encoding von Eingabesequenzen und dem Decoding der Ausgabe verantwortlich sind. So wird eine Eingabetextsequenz zunächst zerteilt und tokenisiert – und damit auf Einheiten, die das Modell "versteht" übersetzt. Diese sind in der Regel einfach je eine Zahl pro Token, das für einen Eintrag im Vokabular des Modells steht. 

Bevor die Eingaben nun die Transformer-Layer durchlaufen, wird für die Token je ein Input Embedding – ein reellwertiger Vektor – berechnet, der aus der Summe eines gelernten Token Embedding und einem Position Embedding gebildet wird. Bei einem Forward Pass durch das Modell zur Vorhersage des nächsten Tokens, durchlaufen nun diese Input Embeddings die einzelnen Schichten des Modells, wobei die erste Schicht die Input Embeddings in einen Hidden State – latente Vektorrepräsentationen der Eingabe –umwandelt. Dieser Hidden State ist dann die Eingabe für die zweite Schicht, etc.

Der letzte Vektor des letzten Hidden State durchläuft nun einen Language Modeling Head, welcher  der Projektion der latenten Vektorrepräsentationen zurück auf das Vokabular des Modells dient. Das Ergebnis ist eine Zahl pro Token im Vokabular des Modells (die sog. Logits). Wendet man auf diese Logits nun die SoftMax-Funktion an, erhält man für jede Position in der Eingabe eine Approximation der Wahrscheinlichkeitsverteilung über alle Token an der nächsten Position im Text – bedingt durch die volle Sequenz der (jeweils) vorangegangenen Token. Zum Generieren von Texten mit einer solchen KI, wählen wir nun anhand der Wahrscheinlichkeiten das nächste Token aus und fügen es der Einggabesequenz an (sog. Autoregressives Decoding), bevor wir den Prozess wiederholen.

Wenn wir den Text allerdings bereits kennen und uns die Ausgaben eines Modells in der "Retroperspektive" anschauen, dann sprechen wir hier nicht von Wahrscheinlichkeiten, sondern von "Likelihoods". Während für uns beim Generieren die Wahrscheinlichkeiten für das letzte Token am relevantesten sind, interessieren uns in der Analyse die Likelihoods an den anderen Positionen im gegebenen Text.

Die aktuelle Forschungslandschaft wird von Ansätzen geprägt, die sich in zwei komplementäre Familien einteilen lassen: statistische und parametrische Ansätze. In der Ersten kommen vermehrt computerlinguistische Features zum Einsatz, die dann etwa mit Likelihood-Statistiken kombiniert werden um Aussagen über die Autorschaft eines Textes zu treffen. 

Ein Beispiel stellt hier Fast-DetectGPT dar, bei dem die Likelihood statistisch analysiert wird und somit ein Analysewert berechnet wird [16]. Dieser Wert ist allerdings nicht auf einen bestimmten Zahlenbereich begrenzt und es gibt keinen natürlichen Schwellenwert anhand dessen man eine Klassifizierung durchführen könnte. Um den Ansatz in der Praxis einzusetzen muss daher eine Sammlung von KI-Modell-spezifischen Referenztexten analysiert und aus den jeweiligen Werten ein Schwellwert berechnet werden.

Dahingegen ist Ghostbuster ein parametrischer Ansatz, bei dem ein logistisches Regressionsmodell Methoden auf Likelihood-Features trainiert wird [17]. Die Ausgabewerte der logistischen Funktion sind auf die Domäne [0, 1] begrenzt und auch ohne Referenztexte bietet sich der Schwellwert 0.5 natürlich an.

Hierin liegt ein Vorteil der parametrischen Modellfamilie, da wir grundsätzlich davon ausgehen können, dass ein Modell, das gut generalisiert, keine Anpassungen des Schwellwerts benötigt, um auf Texten von unbekannten KI-Modellen angewendet zu werden. Grundsätzlich aber zeigte sich in der Vergangenheit, dass zum Erkennen von immer besseren, von immer größeren KIs geschriebenen Texten auch Features aus immer größeren KIs benötigt werden – wobei dann auf Modelle der Open-Source-Community im Milliarden-Parameter-Bereich zurückgegriffen werden muss. Im Folgenden wollen wir nun unseren Ansatz vorstellen, der der parametrischen Familie angehört, aber dank des Einsatzes von Convolutional Neural Networks sehr parameter-sparsam ist und selbst mit Likelihoods aus kleinen LLMs Texte der GPT-4-Modellfamilie problemlos erkennt.

Convolutional Neural Networks

Convolutional Neural Networks (CNNs) sind KI-Modelle, die (ggf. mehrere) konvolutionale Schichten enthalten. Hierin lernt das Modell mittels Machine Learning die Gewichte für Kernel in Filtern. CNNs haben ihren Durchbruch in der Computer Vision gemacht und wurden bereits 1989 erfolgreich für die Erkennung von handgeschriebenen Ziffern eingesetzt [18]. Dabei lernt das Modell zunächst lokale Muster in 2D-Bildern zu erkennen, wie etwa vertikale/horizontale/diagonale Linien. In tieferen Schichten kann das Modell somit aus deren Kombination das Erkennen von komplexeren Mustern erlernen, wie etwa Autoreifen oder Gesichter. Die gelernten Filter sind translationsinvariant und über beliebig große Eingaben gleich, daher sind CNNs sehr Parameter-effizient; ein 2D-Filter der Größe fünf benötigt nur 25 Gewichte. Mit der Kombination von vielen Filtern und Schichten kommen so zwar auch hunderttausende Gewichte zusammen, die allerdings im Kontrast zu Milliarden von Gewichten in einem LLM vernachlässigbar werden.

Unser Ansatz

Unser Ansatz beruht darauf, ein CNN auf den Likelihoods eines "White Box"-LLMs zu trainieren. Hier verwenden wir aber im Gegensatz zu vorangegangen Arbeiten nicht nur die Likelihoods, die der letzten Schicht des Modells entspringen und zum Decoding verwendet werden, sondern greifen auch auf die Ausgaben der inneren Schichten zurück. Da gegenwärtige LLMs auf gleichartigen Transformer-Blöcken basieren, haben alle Hidden States die selbe Form und wir können technisch gesehen aus allen Hidden States eine Likelihood berechnen – völlig unabhängig davon, ob sie nun dem Ende, der Mitte, oder dem Anfang des Modells entspringt. Die Likelihoods der inneren Schichten – die Intermediate Likelihoods – zu berechnen ist trivial: wir multiplizieren anstelle des letzten Hidden States einfach auch die anderen Hidden States mit den Output Embeddings und wenden die SoftMax-Funktion auf die entsprechenden Ausgaben an. Somit erhalten wir ein Satz Likelihoods für jede Schicht in dem Modell.

Zur Evaluation unserer Klassifikationsmodelle verwenden wir sowohl den F1-Score als auch die Fläche unter der ROC-Kurve (AUROC). Obwohl beide Metriken zur Beurteilung der Modellgüte bei binären Klassifikationsaufgaben dienen, messen sie unterschiedliche Aspekte der Modellleistung und sollten daher komplementär interpretiert werden.

• F1-Score: Der F1-Score ist das harmonische Mittel aus Präzision und Recall und eignet sich insbesondere für Szenarien mit unausgewogenen Klassenverteilungen. In unserem Fall der KI-Text-Erkennung ist dies besonders relevant, da generierte und menschlich verfasste Texte je nach Domäne stark im Verhältnis variieren können. Ein hoher F1-Score zeigt an, dass ein Modell sowohl wenige False Positives als auch wenige False Negatives produziert — also verlässlich zwischen echten und KI-generierten Texten unterscheidet. Ein F1-Score von 1 würde eine perfekte Performance bedeuten.
• AUROC: Die Area Under the Receiver Operating Characteristic Curve (AUROC) misst hingegen die Fähigkeit eines Modells, zwischen den beiden Klassen über alle möglichen Schwellenwerte hinweg zu unterscheiden. Ein AUROC-Wert nahe 1 signalisiert eine starke Trennschärfe zwischen den Klassen, unabhängig von einer festen Entscheidungsgrenze. Dies ist besonders nützlich in der explorativen Analyse oder bei der Optimierung von Schwellenwerten.

Während der AUROC-Wert also eine generelle Aussage über die Modellqualität erlaubt, ist der F1-Score praxisnäher, da er direkt auf einem gewählten Schwellenwert basiert – in unserem Fall von 0,5.

Experimente

Die Erkennung von KI-generierten Texten modellieren wir im Allgemeinen als eine Textklassifikationsaufgabe. Zur Merkmalsextraktion führen wir zunächst einen einfachen Forward-Pass des tokenisierten Textes durch ein großes Sprachmodell (LLM) durch und erfassen dabei die Hidden States. Anschließend berechnen wir für jeden Hidden State die zugehörigen Intermediate Likelihoods, indem wir ihn durch den Sprachmodell-Kopf (LM-Head) weiterverarbeiten. So entsteht eine zweidimensionale Merkmalsmatrix featD ∈RL×H, wobei L die Länge des Textes in Tokens und H die Anzahl der versteckten Repräsentationen bezeichnet (z. B. 13 bei gpt2 oder 17 bei Llama3.2-1B). Zur Reduktion auf eine feste Vektorgröße untersuchen wir verschiedene Stichprobenverfahren und erzielen die besten Ergebnisse, wenn gezielt die ersten Abschnitte verwendet werden. Konkret extrahieren wir k Segmente der Länge s aus featD und fügen sie zu einem einheitlichen Vektor feat zusammen. Ist ein Text zu kurz, um genügend Segmente zu bilden, greifen wir auf die ersten k·s-Werte zurück und fügen bei Bedarf rechtsseitig Nullen an.

Wir haben das zuvor beschriebene Modell auf einem Datensatz mit insgesamt 93.419 Texten aus neun unterschiedlichen Domänen trainiert – darunter Nachrichtenartikel, politische Debatten und klassische Literatur. Der Datensatz setzt sich zu gleichen Teilen aus menschlich verfassten Texten (vor dem Jahr 2020) und von Sprachmodellen generierten Texten zusammen.