Virtuelle Welten muten bereits sehr realistisch an. Nicht so jedoch die Personen, die sich darin bewegen. Ingo Feldmann, Dr. Oliver Schreer und Peter Kauff vom Fraunhofer-Institut für Nachrichtentechnik, Heinrich-Hertz-Institut, HHI haben nun eine Technologie entwickelt, mit der sich lebensecht wirkende Personen in virtuelle Welten integrieren lassen. Dafür werden sie mit dem Joseph-von-Fraunhofer-Preis ausgezeichnet.
Schaut man einen Film, so ist die Kameraführung vorgegeben: Man muss der Kamera folgen. Anders in einem begehbaren Film. Hier taucht der Zuschauende komplett in die Filmszene ein: Mit einer VR-Brille auf der Nase lässt er den Blick nach Belieben schweifen, umrundet die Schauspielerinnen und Schauspieler und taucht ins Geschehen ein. Doch so realistisch die Umgebung solcher virtuellen Welten auch anmuten mag: Personen wirken bislang noch künstlich, ihre Bewegungen unnatürlich. Auch die Textur, etwa die Art, wie der Stoff des Pullovers gewebt ist, Bartstoppeln oder Muttermale auf der Haut – all das bleibt von der Realität noch weit entfernt. Bisher.
Ingo Feldmann, Dr. Oliver Schreer und Peter Kauff vom Fraunhofer HHI haben eine neuartige Technologie entwickelt, die diese Probleme behebt. »Wir können reale Menschen in die VR-Umgebung einfügen, die lebensecht wirken und sich in der künstlichen Welt ebenso flüssig und natürlich bewegen, wie wir es aus der realen Welt kennen«, sagt Ingo Feldmann, Gruppenleiter am Fraunhofer HHI. »Auch die Textur erscheint dem Betrachter wie im wirklichen Leben.« Für die Entwicklung der hier verwendeten Technik »3D Human Body Reconstruction« erhalten Ingo Feldmann, Dr. Oliver Schreer und Peter Kauff den diesjährigen Joseph-von-Fraunhofer-Preis.
Der Trick: Die Forscher filmen die Schauspieler mit 32 Kameraaugen, jede Kamera mit zehn Mal HD, die jeweils zu Paaren zusammengefasst und optimal im Raum verteilt sind. Bis zu 30 Bilder pro Sekunde nehmen die Kameras auf, eine Software ermittelt daraus die entsprechenden Tiefeninformationen. Sprich: Sie errechnet, wie weit welches Körperteil auf der jeweiligen Aufnahme von der Kamera entfernt ist. Anschließend fusioniert sie die Daten der einzelnen Kamerapaare miteinander. Heraus kommt ein naturgetreues dreidimensionales Abbild der Person samt ihrer Bewegungen. Dieses dreidimensionale Modell integrieren die Forscher direkt in die virtuelle Welt, mit allen Bewegungen, die die Person ausführt. Bisher wurden die Personen statisch gescannt und ihre Bewegungen dann im Computer animiert.
Um Personen und ihre Bewegungen optimal »einfangen« zu können, bauten die Forscher vom Fraunhofer HHI im Oktober 2017 einen ersten Prototypen auf. Im Sommer 2018 errichteten sie zudem ein Studio auf dem Filmgelände in Babelsberg. Hier können externe Kunden Digitalisierungen durchführen lassen und Zusatzservices buchen. Dazu wurde zusammen mit Studio Babelsberg, ARRI, Interlake und UFA eigens die Produktionsgesellschaft Volucap GmbH gegründet.
Die Forscher am Fraunhofer HHI möchten die Technologie zukünftig auch in anderen Bereichen einsetzen. Mögliches Szenario: Bei schwierigen Operationen könnte sich eine Expertin oder ein Experte in VR zuschalten, den Patienten in Echtzeit sehen und Hilfestellung geben. Auch könnte der Lieblingsfußballer seinen Fan vor dem Champions League-Spiel im Wohnzimmer besuchen. »Im Wesentlichen kann unsere Technologie überall dort eingesetzt werden, wo es auf Authentizität ankommt – etwa bei Personen aus dem gesellschaftlichen Leben, aber auch im Bereich Schulung und Weiterbildung«, erläutert Peter Kauff, der die kommerzielle Verwertung der Technologie im Blick hat. Sein Kollege Oliver Schreer, der zusammen mit Ingo Feldmann die Algorithmen entwickelt hat, ergänzt: »Unsere Technologie öffnet eine Tür zu einem riesigen neuen Anwendungsfeld – wo genau es hingeht, wird sich noch zeigen.«
Fraunhofer-Gesellschaft