Ausgehend von einer bereitgestellten Bildreferenz habe ich eine neue Nachtszene generiert und ihr Tiefe und Kamerabewegung gegeben. Tiefe Grüntöne, blauer Nachthimmel und warmes Ladenlicht übertragen die Atmosphäre auf einen anderen Ort.
Kreative Entwicklung · KI · Interaktive Grafik
Die Kamera bewegt sich am Baum und am Pflanzkübel im Vordergrund vorbei. Dadurch wird der Abstand zum Laden und zur Treppe sichtbar. Generiertes Bild herunterladen.
Zwei weitere Orte bei Nacht
Mit der ursprünglichen Illustration als visueller Referenz habe ich zwei neue Bilder generiert: einen Teeladen am Kanal und eine Tramhaltestelle am bewachsenen Hang. Beide durchliefen dieselbe Tiefenschätzung und dasselbe Inpainting, jeweils mit eigenem Mesh und einer sanften Kameraschleife.
Ein anderes Licht
Die nächsten beiden Bilder nutzen andere Bildsprachen: leuchtende, deckende Bilderbuchfarben und feine Tuschelinien mit Aquarellflächen. Beide habe ich mit großen Formen im Vordergrund, einem offenen Mittelgrund und einem klaren Motiv in der Entfernung angelegt. So kann schon eine kleine Kamerabewegung mehr Tiefe zeigen.
Das Bild erkunden
Eine Szene auswählen, den Viewer öffnen und die Perspektive durch Ziehen verändern. Scrollen bewegt die Kamera näher an die Szene. Die Wiedergabetaste startet wieder die ruhige Kamerafahrt. Im Vollbild bekommt die Illustration mehr Raum.
Den Charakter der Illustration bewahren
Die Herausforderung war, Bewegung hinzuzufügen und dabei dem Bild treu zu bleiben. Eine vollständig modellierte Rekonstruktion veränderte Linien und Licht. Generierte Varianten entfernten sich von der ursprünglichen Farbpalette. Einzelne Bildebenen in unterschiedlichen Abständen bewahrten mehr vom Original, doch bei Kamerabewegungen wurden Lücken und versetzte Kanten sichtbar.
Alle hier gezeigten Bilder wurden anhand bereitgestellter Bildreferenzen neu generiert. Die Tiefenrekonstruktion bewahrt die sichtbaren Farben der generierten Bilder. Das Modell ergänzt Bereiche hinter Objekten im Vordergrund. Eine Kamerabewegung kann dadurch etwas zeigen, das zuvor hinter einem Baum verborgen war.
Von der Illustration zur interaktiven Szene
Für diese Studie habe ich die veröffentlichte Implementierung von 3D Photography using Context-aware Layered Depth Inpainting angepasst. Ihre Tiefendarstellung speichert Bildinhalte in unterschiedlichen Entfernungen und verbindet sie zu einem Mesh. Trainierte Inpainting-Modelle ergänzen Farbe und Tiefe in verdeckten Bereichen.
Der Ablauf nutzt die ursprüngliche MiDaS-Tiefenschätzung der Implementierung sowie deren Modelle für Kanten-, Tiefen- und Farb-Inpainting. Zuerst habe ich die Verarbeitung am Beispielbild der Autoren geprüft. Anschließend folgten die Gasse und verschiedene Kamerafahrten. Die filmische Schleife nutzt einen deutlich kleineren Bewegungsraum als diese Tests.
Das entstandene Mesh habe ich mit den gemalten Farben und ohne zusätzliche Szenenbeleuchtung für Three.js exportiert. Die interaktiven Nachtszenen ergänzen ein kaum wahrnehmbares Glimmen am warmen Licht der Geschäfte. Der Viewer pausiert außerhalb des sichtbaren Bereichs und berücksichtigt die Einstellung für reduzierte Bewegung. Jeder Film und der interaktive Viewer haben eigene Tasten zum Pausieren und für das Vollbild.
Wenig Bewegung reicht
Das Ergebnis ist ein 3D-Foto mit begrenztem Blickwinkel. Das einzelne Bild zeigt nicht jede Oberfläche der Gasse. Bei zu großen Kamerabewegungen beginnt sich die geschätzte Geometrie zu dehnen, besonders an feinem Blattwerk. Deshalb bleibt die Kamera in einem kleinen Bereich und die Komposition im Mittelpunkt.
Bei der Tuschezeichnung habe ich die Blumen im Vordergrund unterhalb der Wolken angeordnet, damit die feine Schraffur des Himmels frei bleibt. Richtung und Strecke prüfe ich für jede Rekonstruktion. Der Kamerabereich ist eine Entscheidung für die Präsentation und keine allgemeine Grenze der Methode.
Alle fünf Szenen erhalten die volle Auflösung ihrer Ausgangsbilder von 1086 × 1448 Pixeln. Die Filme umfassen etwa 8 bis 18 MB. Die interaktiven Meshes sind etwa 57 bis 63 MB groß und werden erst auf Wunsch geladen. Beim Szenenwechsel wird das vorherige Mesh freigegeben. Die Projektübersicht zeigt den Film; in der Fallstudie lässt sich jede Szene auch interaktiv erkunden.
Credits
Kreative Entwicklung, Anpassung der Forschungsimplementierung und Web-Viewer: Leo Hoesl.
Das Rekonstruktionsverfahren stammt von Meng-Li Shih, Shih-Yang Su, Johannes Kopf und Jia-Bin Huang und wurde auf der CVPR 2020 vorgestellt. Forschung und Ergebnisse · Veröffentlichte Implementierung.
Alle fünf Szenen wurden mit OpenAIs Bildgenerierung anhand bereitgestellter Illustrationen als Stilreferenzen neu erzeugt. Die bereitgestellten Bilder werden nicht direkt als Motive der Galerie verwendet. Meine Arbeit umfasst die Bildregie, Tiefenrekonstruktion und interaktive Präsentation.