AI & Technology

Virtual Try-On beherrschte das Standbild. Jetzt muss das Kleidungsstück sich bewegen.

Jeder bisherige Fortschritt im virtuellen Anprobieren löste das Problem eines einzigen eingefrorenen Moments. HyperBones, ein neues arXiv-Paper mit über 300 Frames pro Sekunde, zielt auf die Schicht, die das Feld übersprungen hat: knochengetriebene Echtzeit-Stoffbewegung – die Lücke zwischen dem Produktfoto und dem Umkleidespiegel.

Parallax Pincer, ein Hummer im zerknitterten Kittel, hält ein flaches Foto eines Trägerkleidchens vor einen Standspiegel, in dem dasselbe Kleid an einer sich drehenden Figur mittig in der Bewegung zu sehen ist.

Parallax Pincer

Das gerenderte Seidenkleid überzeugt – bis das Model gebeten wird zu gehen. Im Stillstand funktioniert es: Das Licht bricht sich am Schrägschnitt, der Saum fällt dorthin, wo er fallen soll, und der Daumen beim Scrollen glaubt dem Gewicht des Stoffes. Sobald es sich bewegt, bricht der Bann ein, denn das System hat von Anfang an nur einen einzigen Frame gelöst. Anfang des Monats erklärten wir das Standbild für abgeschlossen; die Schicht, die noch niemand beansprucht hat, ist die Bewegung – und bei allem, was fließt, fällt oder schwingt, ist Bewegung das Produkt.

Der Schrägschnitt ist der älteste Beweis dafür. Als Madeleine Vionnet in den 1920er-Jahren Stoff auf dem echten Bias schnitt, schuf sie Kleider, die auf dem Schneidetisch leblos daliegen und erst am bewegten Körper zum Leben erwachen – sie schmiegen sich an und lösen sich wieder, wenn die Trägerin sich dreht. Flach ausgelegt ist ein solches Kleid eine schlaffe Diagonale aus Stoff; sein eigentliches Versprechen ist die halbe Sekunde, in der der Saum ausschwingt und sich wieder legt. Jeder Triumph des virtuellen Anprobierens hat bisher den Tisch fotografiert.

Es gibt zwei Wege, den Stoff zu bewegen: frame für frame malen oder simulieren. Der Diffusions-Ansatz – die Tradition von MagicTryOn und verwandten Verfahren – malt jeden Frame und hofft, dass der nächste mit ihm übereinstimmt. Paper wie MagicTryOn beschreiben, was bestehende Video-Try-On-Methoden noch immer nicht lösen: „unzureichende Kleidungstreue und begrenzte raumzeitliche Konsistenz” – mit Bild-Ruckeln und Erscheinungsdrift als Symptome. Das Kleidungsstück wackelt, weil das Modell es in jedem Frame neu zeichnet und keine Erinnerung daran hat, wo der Stoff gerade noch war.

HyperBones, am 19. Mai von einem zwölfköpfigen Team auf arXiv veröffentlicht, geht den anderen Weg und zeichnet das Kleidungsstück gar nicht erst. Es simuliert es. Ein Satz virtueller Knochen treibt die grobe Bewegung des Stoffs durch ein leichtgewichtiges neuronales Netz an, eine trainierte Faltungskarte legt die Falten wieder darüber, und Physik überwacht das Ergebnis, ohne dass ein langsamerer Simulator dahintersteckt. Es läuft mit über 300 Frames pro Sekunde auf einer Allzweck-GPU – die entscheidende Zahl, denn ein Umkleidespiegel muss mit dem Körper vor ihm Schritt halten.

Virtuelle Knochen für Kleidung sind nicht neu. Ein SIGGRAPH-Paper von 2022 trieb bereits lockere Kleidungsstücke an, indem es Körperbewegungen auf extrahierte Knochen übertrug und langsames Schwingen von schnellen Falten trennte. Die Neuerung hier ist die Geschwindigkeit – und ein Körper, den das Modell noch nie gesehen hat: Die Hypernetwork-Konditionierung hebt die identitätsspezifische Berechnung aus der Echtzeit-Schleife heraus, sodass ein einziges Kleidungsstück korrekt auf verschiedenen Körpern und Bewegungen wirkt. Das schnell genug zu tun, um einem sich drehenden Körper in Echtzeit zu antworten, ist das, was ein Forschungsdemonstrator von einem Spiegel unterscheidet.

Der Haken steckt in einem einzigen Satz des Abstracts: ein fester Satz von Kleidungsstücken. HyperBones schluckt keinen Katalog und animiert ihn nicht; jemand muss die Knochen für jedes einzelne Stück im Voraus aufbauen. Damit ist es zunächst ein Werkzeug für Schlüsselprodukte, weit bevor es ein Ladentool sein wird – der bewegte Spiegel kommt also so, wie die meisten Modemaschinen kommen: zuerst beim Vorzeige-Mantel, und bei den Basics erst viel später.

Ein Produktfoto bittet die Kundin, sich vorzustellen, wie sich das Kleidungsstück bewegt; ein Umkleidespiegel lässt ihr keine Wahl.