Ich habe denselben Ablauf mit einer gemalten Figur, einem Filmstill und einem sonnigen Raum erprobt: ein Kameravideo erzeugen und daraus eine Szene rekonstruieren, die sich im Browser drehen und erkunden lässt.
Gemalte Figur
In 3D erkunden
Große Datei. Das Laden kann einige Minuten dauern.
Ziehen zum Drehen, Scrollen zum Zoomen. Der Regler folgt den rekonstruierten Kameras. Abseits dieses Pfads können Lücken und Artefakte sichtbar werden.
Vom Einzelbild zur Szene
Das Original gibt Outfit, Farbwelt und Atmosphäre vor. Eine generierte Kamerafahrt ergänzt neue Ansichten. Ich rekonstruiere die Kamerapositionen und passe eine Szene aus überlappenden farbigen Punkten an: den Gaussian Splat. Der Browser kann daraus eigene Ansichten rendern.
Der Film zeigt die drei Schritte. Im Vergleich darunter lassen sich Videobild und Rekonstruktion aus derselben Kameraposition und mit derselben Brennweite übereinanderlegen. Über den Ansichtsregler wird die Drehung sichtbar.
Trennlinie ziehen. Video und 3D zeigen dieselbe Kameraposition. 0.00 s
Ein Filmstill mit Tiefe
Die Straßenszene beginnt mit weicher Hintergrundunschärfe, Filmkörnung und einer gedämpften grünen Farbwelt. Die Kamerafahrt erschließt die Straße um die Figur. Zehn übereinstimmende Ansichten zeigen, wie die Rekonstruktion diese Atmosphäre durch die Drehung trägt.
Trennlinie ziehen. Video und 3D zeigen dieselbe Kameraposition. 0.00 s
Den Moment anhalten. Ich habe zwei Generierungsansätze verglichen. Die Kamerasteuerung stabilisierte den Bildausschnitt, doch Passanten bewegten sich trotz der Anweisung, die Szene einzufrieren. Ihre wechselnden Positionen erschweren eine stabile Rekonstruktion: Die Kamera braucht verschiedene Ansichten desselben Moments.
Neu rekonstruierte Kameras aus allen 362 Videobildern verbesserten die Straße stärker als eine höhere Splat-Obergrenze allein. Ich hielt sechzehn Ansichten für den Vergleich zurück und prüfte vollständige Drehungen, um Vordergrundschichten zu erkennen, die erst zwischen den Kamerapositionen auftauchten.
In 3D erkunden
Große Datei. Das Laden kann einige Minuten dauern.
Waagerecht ziehen zum Drehen, scrollen zum Zoomen. Der Regler folgt den rekonstruierten Kameras.
Ein Raum zum Umschauen
In der Bibliothek kommt eine andere Aufgabe hinzu: Pflanzen, Regale und Möbel umgeben die Kamera. Ich habe den interaktiven Rundgang im freien Innenraum gehalten und Fensterrahmen sowie Pflanzen während der gesamten Drehung geprüft. Zwölf übereinstimmende Ansichten vergleichen das Video mit der ausgewählten Rekonstruktion.
Trennlinie ziehen. Video und 3D zeigen dieselbe Kameraposition. 0.00 s
Platz für die Kamera finden. Ich habe einen vollständigen Orbit, einen kleineren Bogen und eine Drehung nach einer Fahrt in den Raum getestet, um Abstand zu den Regalen und genügend Ansichten zu verbinden. Beim Drehen zeigten sich doppelte Fensterrahmen und Pflanzenkonturen, die aus anderen Winkeln kaum auffielen. Neu rekonstruierte Kamerapositionen und erneutes Training reduzierten diese Überlagerungen deutlich.
In 3D erkunden
Große Datei. Das Laden kann einige Minuten dauern.
Ein langsamer Rundgang innerhalb des Raums. Ziehen, Zoomen oder der Regler pausieren die Bewegung. Die Ausgangsansicht führt zurück auf den geprüften Pfad. Freies Erkunden kann Lücken und Artefakte zeigen.
Mögliche Anwendungen
Mode. Aus einer Kampagnenillustration könnten ein interaktives Editorial, ein Kollektionsteaser oder ein räumliches Lookbook entstehen. Silhouette und Inszenierung lassen sich erkunden, bevor ein Shooting feststeht.
E-Commerce. Eine erkundbare Szene kann eine Produktgeschichte erweitern und zugleich Kameraclips für Landingpages oder einen Launch liefern. Für eine exakte Produktansicht würde ich mit geprüften Produktfotos aus mehreren Winkeln beginnen.
Automotive. Ein Konzeptbild könnte zum Fahrzeug-Reveal, zur interaktiven Kampagnenszene oder zum ersten Showroom-Entwurf werden. Wenn Karosserie, Räder und Lichtdetails exakt bleiben müssen, würde ein aufgenommenes oder CAD-basiertes Fahrzeug die Referenz liefern.
Innenräume. Ein Raumkonzept lässt sich als kurzer räumlicher Rundgang erleben. Die Bibliothek oben zeigt dafür einen langsamen Kamerapfad innerhalb des Zimmers.
Was ich gelernt habe
Die Auswahl der Szene gehört zur Arbeit. Ein Videomodell kann Menschen, Pflanzen oder lockere Kleidung als Anlass für Bewegung interpretieren. Bis die Szene stillhält und sich nur die Kamera bewegt, braucht es Iterationen und getrennte Prüfungen von Video, Kamerapositionen und Rekonstruktion.
Konsistente Ansichten waren wichtiger als eine längere Trainingsdauer allein. Eine dichtere Folge rekonstruierter Kamerapositionen verbesserte die Szene. Darauf aufbauend war weiteres Training sinnvoll.
Auch die Darstellung im Browser muss zum Training passen. Eine abgestimmte Filterung brachte in allen drei Szenen Details zurück, ohne die trainierten Modelle zu verändern.
Einzelbilder reichten für die Prüfung nicht aus. Bei der gemalten Figur verglich ich zwölf Videobilder mit nativen Renderings aus denselben Kamerapositionen und prüfte anschließend eine vollständige Drehung in beide Richtungen. Erst beim Drehen wurden dünne Vordergrundschichten sichtbar, die aus anderen Winkeln kaum auffielen.
Gezieltes Bereinigen und eine abschließende Farbanpassung verbesserten das Ergebnis bei unveränderter Geometrie. Die Originalillustration blieb während des gesamten Ablaufs unangetastet.
Die Drehung auf der Startseite ist Bild für Bild mit 60 fps gerendert. So bewegt sich die Kamera gleichmäßig, auch wenn ein einzelnes Bild beim Rendern länger braucht.
Die nächsten Tests
- Motivwahl und Stillstand: Szenen mit weniger beweglichen Elementen vergleichen und bewegte Bereiche von der Rekonstruktion ausschließen.
- Stärker kontrollierte Ansichten: zusätzliche Referenzen mit einem Generator verbinden, der expliziten Kamerapositionen folgt. Zunächst einen kurzen Bogen prüfen, dann die Drehung erweitern.
- Kameras gemeinsam verfeinern: Kamera und Szene zusammen optimieren, um doppelte Konturen zu reduzieren und die Ausrichtung zu verbessern.
- Feine Details rekonstruieren: Strategien für die Splat-Dichte an Haaren, Bändern und Bodenkontakten der Schuhe vergleichen, jeweils mit denselben Referenzansichten und vollständigen Drehungen.
- Räume generieren: den Videoweg mit einem direkten Bild-zu-Welt-Modell vergleichen und dabei Regaldetails sowie den exportierten Splat auf demselben Kamerapfad im Raum prüfen.
Credits und Workflow
Die Originalbilder wurden für diese Studien bereitgestellt; ihre Urheber sind noch unbekannt. Wenn Sie wissen, wer die Illustration, den Filmstill oder das Raumbild geschaffen hat, freue ich mich über einen Hinweis, damit ich die Personen nennen kann.
Workflow, Rekonstruktion und Browserdarstellung: Leo Hoesl. Videogenerierung mit MiniMax H3, Rekonstruktion mit Brush, Browserdarstellung mit Spark und Three.js, Erklärfilm mit Video Forge. Grundlage ist 3D Gaussian Splatting.