3D-360, 3D Videos

Das Projekt beabsichtigt, aus den Filmen, die von mehreren Kameras aufgenommen werden, ein dynamisches 3D-Modell zu erstellen, welches dann von einer Game Engine bzw. einem vergleichbaren Player abgespielt werden kann.

Die Konsumenten haben die Möglichkeit, mit verschiedenen Visualisierungstechniken den 3D-Eindruck zu erleben, können aber auch in begrenztem Umfang in den Verlauf des Filmes eingreifen, indem sie beispielsweise die Blickrichtung und evtl. auch ihren Standort selbst bestimmen.

3d-360, mittendrin statt nur dabei

Erzeugung eines 3D-Modells aus Filmaufnahmen

Die Quellen für die durch das Produkt dieses Projektes erstellten Videos sind Filme, die mit mehreren Kameras zeitgleich aufgenommen werden. Aus diesen Bilddaten werden durch heute gängige Verfahren sparse und Dense Point Clouds im 3D-Raum errechnet. Schon daraus lassen sich eindrückliche 3D-Animationen erstellen.

Das Projekt versucht, Verfsahren zu entwickeln, Bereiche der Dense Point Cloud zu zusammengehörigen Objekten zu Clustern, die in 3-dimensionale Grundformen aufgelöst werden. Dadurch kann die immense Anzahl an 3D-Punkten, die in den dens Point Clouds des Filmes generiert weren, auf nur Bruchteile der Informationsmenge reduziert werden. Die entstandenen 3D-Objekte werden dann mit aus den Bilddaten gewonnenen Texturen überzogen. Objekte, die zu weit von der Aufnahmeposition entfernt sind um vom menschlichen Auge durch triangulation 3-dimensional wahrgenommen zu werden, platzlieren passende Algorithmen auf einer sphärischen virtuellen Leinwand,die selbst ein 3D-Objekt ist.

Als nächstes kommt der Zeitaspekt dazu. Es gibt von Bild zu Bild Änderungen an den Dense point Clouds und damit an den 3D-Objekten, die die Bewegungen im Film abbilden. Durch Nutzung dieser Information muss nicht für jedes Bild ein neues Set von Objekten erstellt werden, sondern die in einem Bild präsenten Objekte werden durch Translation und Rotation in das nächste Bild überführt. Nicht durch vorhandene Objekte erfassbare Punkte müssen zu neuen Objekten geclustered werden.

Damit ergibt sich eine Sammlung von Objekten, die -während des Films entstehend und vergehend- das Szenario über den Verlauf des Filmes bilden.

In einem geeigneten Format gesichert kann so jederzeit durch eine Rekonstruktion der Szene z.B. mittels einer Game Engine. Der 3D-Raum neu erzeugt und dargestellt werden.

Anwender der technologie können alle medienschaffenden sein, von der Werbeindustrie über den Dokumentarfilmer bis zur Produzentin von Lernmaterial.

Productivity Chain1
Screenshot des Protégé-Plugins OntoExt

Projektdauer

Das Projekt wurde in der jetzigen Form im Herbst 2014 gestartet. Die jetzige Phase (Recherchen zur aktuellen Forschung, Lösungswege und Risikobetrachtungen) soll im Sommer 2015 abgeschlossen sein.

Auftraggeber

  • Das Projekt wird momentan finanziert von der
    Stiftung HTW Chur Technik

Ansprechpartner

Hauser-Ehninger Ulrich, Prof. Dr., MSc in Electronic Engineering
Tel. +41 81 286 39 97
Fax +41 81 286 24 00
ulrich.hauser@htwchur.ch
Einzelansicht