Der Fälschungsdetektor wurde mit den falschen JPEGs trainiert
Eine Studie, die auf 859 JPEG-Quantisierungstabellen aus einem realen Dokumentenstrom basiert, zeigt, warum Fälschungsdetektoren, die in Benchmarks nahezu perfekt abschneiden, bei echten Unterlagen versagen. Händler, die die Prüfung von Ursprungszeugnissen und Lieferantenaudits automatisieren, verlassen sich dabei auf die falsche Kennzahl.
Admiral Neritus Vale
Der Dokumenteneingang eines französischen Versicherers enthält 859 verschiedene JPEG-Quantisierungstabellen, jede ein leicht anderes Rezept dafür, welche Bilddetails bei der Komprimierung geopfert werden. Der öffentliche Benchmark, auf dem die meisten Fälschungsdetektoren für Dokumente trainiert und bewertet werden, enthält genau eine einzige. Das bedeutet: Diese Modelle haben ihr gesamtes Training damit verbracht, einen einzigen Kompressions-Fingerabdruck zu studieren, und behandeln jede Abweichung davon als Beweis. Händler richten dieselbe Modellklasse inzwischen auf Ursprungszeugnisse, Audit-Unterlagen von Sublieferanten und Echtheitsnachweise für den Weiterverkauf, und sie entscheiden sich zwischen Anbietern anhand von Werten, die genau unter der einen Bedingung berechnet wurden, für die die Modelle gebaut wurden.
Eine Quantisierungstabelle ist ein Fingerabdruck, keine Einstellung. Der JPEG-Standard überlässt es dem Encoder, zu entscheiden, was die Komprimierung übersteht, und fast jede Kamera, jeder Scanner und jeder PDF-Konverter liefert fest codierte Tabellen mit, die auf die eigene Hardware abgestimmt sind. Eine Seite, die drei solcher Geräte durchlaufen hat, trägt also eine geschichtete Kompressionshistorie. Fälschungsdetektoren nutzen genau das aus, denn ein Bereich, der bearbeitet und neu gespeichert wurde, hört auf, zu den Kompressionsspuren der umgebenden Seite zu passen. Die DocQT-Studie, gestern auf arXiv aktualisiert und auf Basis des Dokumenteneingangs des französischen Versicherers MAIF erstellt, zeigt, was passiert, wenn ein Modell diesen Trick anhand einer einzigen Tabelle lernt und ihm dann die Tabellen gezeigt werden, in denen echte Dokumente tatsächlich ankommen.
Das Ergebnis fällt je nach Architektur unterschiedlich aus, und genau dieser Unterschied ist der Befund, den ein Käufer lesen sollte. Die Autoren trainierten zwei Lokalisierungsmodelle jeweils zweimal: einmal mit der in diesem Feld üblichen Qualitätsfaktor-Augmentierung, einmal mit Quantisierungstabellen aus dem realen Dokumenteneingang. Das Neutraining mit realistischen Tabellen brachte FFDN, das die Quantisierungstabelle als expliziten Input verwendet, 14,5 F1-Punkte bei der Lokalisierung manipulierter Bereiche ein. Mesorch, das die Tabelle nicht ausliest, gewann unter realistischer Kompression nichts hinzu und verlor sogar Boden bei genau der Standard-Benchmark-Bedingung, auf die es abgestimmt war. Zwei Architekturen und ein Versicherer sind eine schmale Beweisgrundlage, und die Autoren sagen das auch selbst. Es reicht dennoch, um den Mechanismus zu belegen, denn dieser Mechanismus steckt im Dateiformat, nicht in der jeweiligen Branche.
Bei der Zahl der Fehlalarme hört das auf, eine reine Ranglisten-Debatte zu sein. Getestet an echten Dokumenten aus dem laufenden Eingang markierte das standardmäßig trainierte Modell etwa sechsmal so oft Pixel fälschlich als manipuliert wie die Version, die mit realen Tabellen trainiert worden war. Das sind saubere Dokumente, denen etwas vorgeworfen wird, und jeder solche Vorwurf kostet die Aufmerksamkeit eines Menschen statt die eines Modells. MAIF erhält allein für die Schadenbearbeitung mehr als 100.000 Dokumente im Monat, sodass aus einem kleinen prozentualen Fehler eine große absolute Warteschlange wird. Ein Detektor, dessen Warteschlange größtenteils aus Rauschen besteht, wird nicht etwa übersteuert – er wird abgeschaltet.
Ein separater, im März veröffentlichter Benchmark hat gemessen, wie weit diese Lücke reicht. DocForge-Bench testete vierzehn Methoden zur Fälschungserkennung über acht Dokument-Datensätze hinweg, ganz ohne domänenspezifisches Feintuning. Der Detektor, der auf dem Standarddatensatz des Feldes trainiert wurde, erreicht auf seinem eigenen Testdatensatz einen Pixel-F1-Wert von 0,914, wie DocForge-Bench feststellte. Getestet an einer Reihe gefälschter Kassenbelege, die er noch nie gesehen hatte, kommt derselbe Detektor auf 0,002. Wichtiger als der Absturz selbst ist die Diagnose dahinter: Die meisten Methoden hielten einen moderaten Pixel-AUC-Wert, das heißt, sie ordneten verdächtige Pixel weiterhin einigermaßen korrekt ein und hatten lediglich die Fähigkeit verloren, zu entscheiden, ab wann Verdacht zu einem Befund wird.
Diese Modelle haben nicht gelernt, wie eine Fälschung aussieht, sondern wie eine bestimmte Verarbeitungskette aussieht, und alles außerhalb davon behandeln sie als verdächtig.
Dieser Trick hat Grenzen, die DocForge-Bench selbst benennt: Seine acht Datensätze stammen aus der Zeit vor Diffusions- und LLM-generierten Dokumentenfälschungen, sodass keine der beiden Studien etwas darüber aussagt, ob ein mit realistischen Quantisierungstabellen neu trainiertes Modell auch eine Seite erkennt, die ein KI-Modell von Grund auf neu erstellt hat. Die Korrektur bei den Kompressionstabellen verengt die Diskrepanz, die diese beiden Studien gemessen haben; sie schließt nicht die neuere Lücke.
Der Einzelhandel baut sich derzeit genau die Art von Dokumenteneingang auf, mit der diese Modelle am schlechtesten zurechtkommen. Die Leitlinien der US-Zollbehörde CBP zur Durchsetzung des Verbots von Zwangsarbeit für Importeure, veröffentlicht am 9. Juni und von Holland & Knight zusammengefasst, verlangen von Importeuren die Vorlage von Bestellungen, Stücklisten, Produktionsunterlagen, Transportdokumenten und Lieferantenerklärungen bis hinunter zu Sublieferanten, nach einem Beweisstandard, dem geschwärzte oder unübersetzte Unterlagen kaum genügen dürften. Ein auf diese Weise zusammengestelltes Dossier ist ein Stapel von Fotos, die auf dem Handy eines Färberei-Managers aufgenommen, über den alten Bürokopierer einer Fabrik gescannt, vom PDF-Tool eines Spediteurs neu gespeichert und schließlich von einem Compliance-Team in einem vierten Land hochgeladen wurden. Jeder dieser Schritte schreibt seine eigene Quantisierungstabelle. Die Dokumente mit dem größten juristischen Gewicht sind ausgerechnet die, die am meisten Hände durchlaufen haben – anders gesagt: die, die am weitesten von jedem Benchmark entfernt sind.
Der stärkste Einwand lautet, dass hier überhaupt kein Modellierungsfehler vorliegt. DocForge-Bench stellte fest, dass die Anpassung der Entscheidungsschwelle anhand von nur zehn domäneninternen Bildern zwischen 39 und 55 Prozent der erreichbaren Lücke schließen konnte, was eher auf eine Fehlkalibrierung als auf Blindheit hindeutet. So gelesen, müsste ein Händler nur eine kurze Kalibrierung anhand des eigenen Dokumentenflusses durchführen, und das Problem schrumpft auf ein Deployment-Detail. Was dafür allerdings vorausgesetzt wird, ist der Besitz gelabelter, gefälschter Beispiele aus dem eigenen Dokumenteneingang – und eine Marke, die Lieferantenunterlagen prüft, führt keinen Ordner mit bekannten Fälschungen in ihrer eigenen Kompressionskette. Selbst wer die Hälfte der erreichbaren Lücke schließt, lässt die andere Hälfte übrig, und das DocQT-Ergebnis verortet diese Hälfte darin, worauf das Modell trainiert wurde zu achten, nicht darin, wo seine Schwelle liegt.
Die Beschaffungsfrage, die sich daraus ergibt, ist eng gefasst und beantwortbar. Eine Anbieterpräsentation nennt einen Benchmark-Wert, aber was die Leistung bei den eigenen Ursprungszeugnissen tatsächlich vorhersagt, ist die Verteilung der Quantisierungstabellen im eigenen Dokumenteneingang – und die kann jeder Händler an einem Nachmittag ermitteln, indem er die eigenen JPEG-Header mit der von den DocQT-Autoren veröffentlichten Tabellenbank abgleicht. Man sollte fragen, welche Tabellen das Modell im Training gesehen hat und ob es die Tabelle überhaupt ausliest. Wo diese beiden Antworten nicht zu den eigenen Lieferantendokumenten passen, misst der Benchmark die Pipeline des Anbieters – nicht das eigene Risiko. Gefälschte Handelspapiere scheitern selten daran, dass sie falsch aussehen: Der Textil-Umleitungsring, den OLAF aufdeckte, reichte Transitunterlagen ein, die eine Ladungsankunft in Spanien zeigten, obwohl die Ware Polen nie verlassen hatte. Ein System, das gelernt hat, die Signatur eines bestimmten Scanners zu erkennen, wird solche Dokumente weiterhin durchwinken – und weiterhin die ehrlichen aufhalten.