Projekt Entwicklung Prototype

Mensch Maschine-Cyborg dancing ( Arbeitstitel )

Interaktive immersive Bewegungsgesteuerte VR / 3D Video Tanzperformance

Dieses Projekt wird durch den FFF Bayern gefördert.


FFF Bayern –Vergabeentscheidung XR vom 25. Juni 2020 FFF Bayern
Vergabeentscheidung Extended Realities XR vom 25.06.2020:  Projektentwicklung XR


Mensch Maschine Cyborg Dancing Antragsteller:  Thomas Mahnecke und Angelika Maria Meindl Mahnecke, München Plattformen: Ortsgebundene VR Experience für Oculus Rift

 

Bei dem Projekt handelt es sich um die Entwicklung eines technischen Dispositivs aus Soft-und Hardware-Komponenten, mit dem eine immersive, interaktive, bewegungsgesteuerte VR-/3D-Videotanzperformance ermöglicht werden soll. Inhaltlich setzt sich die Performance mit dem Konflikt zwischen dem technikgetriebenen Streben nach Perfektion und Effizienz sowie der Sehnsucht des Einzelnen, sich selbst zu finden und zu erfahren, auseinander. Mittels 3D-Projektoren und einem dreidimensionalen Klangfeld soll das Dispositiv von Bühne und Zuschauerraum aufgehoben werden und ein sich ständig verändernder Raum entstehen. Visuelle und auditive Elemente sollen dabei über Sensoren mit den Bewegungen der Tänzer interagieren.

Testrendering


Key Personal / Partnerschaften / Kooperationen / Sponsoren

 

Wir haben uns Partner gesucht und Kooperationen geschlossen um gemeinsam dieses Projekt zu entwickeln.

 

Kollektiv: 

 

Art Director:       Angelika Maria Meindl Mahnecke

Visuel Design / Lead:    Tobias Gremmler

Visual Design /Technical Director:    Thomas Mahnecke

Produktionsleitung:   Claudia Mittermaier

Sound Design:    Fred Lutz

 

Partner

 

German Museum Munich (VR Lab): website (Kooperationspartner)

Mifcom:  ( Sponsor )

Etha international media systems: website ( Sponsor )

Okulon: website ( Sponsor )

Videocation: website ( Partner )

 

 

Zweck des Projekts

 

Jede unserer gegenwärtigen Entscheidungen beeinflusst unsere Zukunft und ist in ständiger Bewegung und Wandlung. Nichts steht still, sondern wir bewegen uns mit unseren Gedanken und Handlungen wie in einen Sog aus Ereignissen, Imaginationen und Visualisationen, die sich manifestieren und wieder verändern, ein steter Fluss ohne Stillstand. Diese Metaebene die uns umgibt, in der wir agieren und täglich unsere eigene Ereigniskette gedanklich visualisieren bewusst und unbewusst, lassen wir durch die Installation und Performance auftauchen.
Sie umgibt die Darsteller und Zuschauer gleichermaßen.

Unser Anliegen ist es weg zu gehen von Darbietungen in dem der Zuschauer die Ereignisse auf der Bühne von aussen betrachtet, hin zu einem gemeinsamen eintauchen in visionäre Bilder in einem den Zuschauer umschließende interaktive „Real-virtuelle Welt“. Dies wird möglich durch die Zuschauer umschließenden interaktiven und immersiven 3D Projektionen in einem dreidimensionalen Klangfeld.

Ein sich ständig verändernder Raum der keine referentielle Raumstruktur zulässt, sondern die Raum und Zeitstruktur in der Schwebe lässt, wird so selbst ein scheinbar amorphes Wesen, welches sich mit den Bewegungen und Körpern der Tänzer verbindet.

 

Wir zielen darauf ab, neue Möglichkeiten von Tanz und neuen Medien zu erkunden. Die Integration der neuen Medien folgt dem Ansatz einen interaktiven Dialog zwischen den Tänzern, den Rezipienten und dem visualisierten 3 dimensionalen Raum herzustellen.

 

Damit das gelingt, unterstützt uns der FFF Bayern  mit einer Projektförderung, und das VRlab des Deutschen Museum mit der zur Verfügungstellung des VRlab und seiner technischen Möglichkeiten bei der Entwicklung des Konzeptes und einem technischen Prototypen  mit dem wir in der Lage sind unter normalen- und Corona-Bedingungen,  Theater oder museale Veranstaltungen/Performance   Real und Virtuell (VR)   einem großen Publikum erfahrbar zu machen.

 

Vision wird Realität!


Stellen wir uns vor, die visuellen Grenzen zwischen Live-Performance auf der Bühne, Projektionen und Publikum lösen sich auf. Der Raum, das Bühnenbild und die Darsteller verschmelzen zu einer einzigen, visuell wahrnehmbaren, dreidimensionalen „Hyperwelt“. Hier in diesen hybriden, virtuellen Welten liegen neue, ungeahnte Optionen für Theater, Show und Musealen Entwicklung. Auch neuartige digitale und interaktive museale Multi-User Ausstellungsszenarien und Erlebnisswelten können so einfacher entwickelt und in Live Events umgesetzt werden.

Ziel unserer „Prototypen“ Entwicklung ist die Voraussetzung zu schaffen um eine neuartige real / virtuelle Bühnenwelt zu kreieren mit einer Echzeitdarstellung des 3D-digital-projezierten Bühnenbildes bei zeitgleicher Interaktion mit Licht-, Ton- und Bühnen-Steuerungssystemen. Eine echte Multiuser- Interaktion der Darsteller auf der Projektionsbühne und der Zuschauer. Für Regisseur*Innen ebenso wie für Choreograph* innen und dem Publikum erschliessen sich nahezu endlose Dimensionen, die unsere Wahrnehmung herausfordern und die Fantasie beflügeln. Durch den Einsatz moderner Motion-Tracking Systeme, die in Echtzeit an digitale Avatare gekoppelt sind, gewinnt z.B. im zeitgenössischen Tanz die Choreographie Dimensionen und Bewegungsschöpfungen, deren Vorstellungskraft nur wir selbst Grenzen setzen. Es werden nicht nur Tänzer und „Avatare“ gemeinsam choreographiert, sondern auch Räume, Projektion und Darsteller sind kaum mehr zu unterscheiden. Sie vermischen sich. Gemeinsam mit ihnen tauchen wir ein in den dreidimensionalen „Hyperraum“ ein, in dem alles möglich ist und Raum und Zeit sich aufgelöst haben.

 

 

warum wurde die Technologie gewählt

 

Dreidimensional durch 3D-Beamer oder LED-Walls projizierte Bühnenbilder werden dem Publikum derzeit selten in Theateraufführungen Unterhaltungsshows oder Museen geboten. Einzig in 3D-Kinofilmen können Zuschauer diese dreidimensionalen Welten regelmäßig ausserhalb einer VR Welt erleben. Das liegt zum einen an den komplizierten technischen Möglichkeiten und zum anderen an dem umfangreichen Produktionsaufwand. Viele verschiedene Hard- und Software-Systeme müssen dafür eingesetzt werden. Besonders das Anpassen und Ändern einer fertig gerenderten 3D-Szene für das digital projizierte Bühnenbild, erfordert einen großen Zeitaufwand und somit hohe Kosten. Die Integration von interaktiven Elementen, wie zum Beispiel der live-Einsatz von Motion Capture Systemen oder anderen Tracking Systemen und Interfaces zur Entwicklung interagierender Szenen ist eine technisch anspruchsvolle Herausforderung. Auch in Museen sind immer mehr echte Multi User Erlebnisse gefragt in denen kontaktlos mehrere Besucher gemeinsam interagieren können und eine 3 dimensionale Welt ausserhalb -real- und -virtuell- mit einer VR Brillen wahrnehmen können. 

Nach unserem Kenntnisstand existiert noch kein System, in welchem wir mit einer zertifizierten Hardware in einer Softwareumgebung Inhalte kreieren, in Echtzeit verändern, mit verschiedenen Interfaces korrespondieren oder interagieren, und sofort das Ergebnis mittels der neuartigen Display“-Technologie auf der „Bühne“ in Echtzeit darstellen können. 

IMAX Deutsches Museum


Test Showroom:

Innovation und User Experience

 

Kunst, XR-, Medientechnologie und Idee verbinden sich zu neuartigen Möglichkeiten

Unser Key Personal Besitz eine große Erfahrung in der künstlerischen Inszenierung, im Theater, Show oder im visual Bereich. Wir kennen die Erfordernisse und Möglichkeiten realen und digitalen Erlebniswelten. In dieser interdisziplinären Kombination aus verschiedenen eigentlich getrennt agierenden Bereichen, sind wir in der Lage  ein System (Prototyp) zu entwickeln, welches die Möglichkeit bietet immersive drei oder zweidimensionale real/virtuelle und audiovisuelle „Raumwelten" zu schaffen, und auch parallel immersive XR Erlebnisse, auf VR oder AR Devices zu erstellen.

 

Wir verbinden unser Wissen und die Vorteile unsere Technologien zu einem neuen innovativem Workflow, in dem wir auf Basis einer Game Engine Echtzeitfähige fotorealistische immersive audiovisuelle Erlebniswelten schaffen, und diese mit Hilfe einer speziellen Computer Hardware in Echzeit in in einem Realen Raum (Bühne) darstellen können.  

 

Diese Kombination gewährleistet einen reibungslosen Einsatz für komplexe audiovisuelle Echtzeit Projekte, weil alle notwendigen Plugins und Verknüpfungen innerhalb des geladenen Projektfiles von uns schon so programmiert und vorbereitet sind, dass die zu verwendenden Hardwarekomponenten nur angeschlossen sein müssen, damit kreative interaktive „Raumwelten“ einfacher erstellt  werden können. 

 

Der „Prototyp”, ist ideal für die Projektion auf der Bühne vorbereitet, denn alle wesentlichen Möglichkeiten für eine Projektion auf der „Bühne“ sind in dem Projektfile als Content Bausteine enthalten. Es können mit Hilfe der Unreal Engine Software modernste Interaktionen in Echtzeit auf der Bühne realisiert werden die vorher technisch schwer umsetzbar waren, weil auch Plugins und Verknüpfungen im Projektfile bereits für den Einsatz von Interaktivitäten mit den gängigen Interfaces vorinstalliert sind und diese einfach eingesetzt werden können.  So können Bühnenbild-Projektionen direkt auf das Bühnengeschehen oder auch mit Licht-, Ton- und Bühnentechnik reaktiv oder interaktiv agieren.  

 

Der Prototyp soll fähig sein, mit bestehenden Medienarchitekturen zu kooperieren, so das eine bestehende Hardware nicht ersetzt werden muss, sondern durch unsere Technologie ergänzt werden kann.

    

Der größte Vorteil unseres "Prototypen" besteht aus dem Prinzip WYSIWYG - What You See Is What You Get. 

Alles was sich im Bild oder am Inhalt verändert, kann in Echtzeit sofort über die entsprechenden Output Devices (z.B. 3D Beamer) dargestellt werden. Sowohl das zeitaufwendige Rendern der Visualisierungen als auch die damit verbundene Datenübertragung und das importieren in Medien-Playout-Systeme entfallen.

 

Das ist ein großer Vorteil beim inszenieren, beleuchten und Proben auf der Bühne, weil Änderungen der Inhalte nun nicht mehr der Albtraum einer Videoabteilung sind. Aufgrund der schnellen Resultate beim Echtzeitvisualisieren kann man dem Gefühl, welches bei dem Zuschauer erzeugt werden soll und der Vision des Regisseurs so nah wie selten kommen. 

 

 

Zusammengefasst soll unser Prototyp folgende Grundeigenschaften besitzen:

 

Ändern und Anpassen von Inhalten in Echtzeit, da komplexe Rendering-Prozesse entfallen. 

Unterstützung ausgewählter VR Systeme 

Unterstützung von Motion Tracking Systemen  ( Neuron Perception Motion Capture Anzug )

dreidimensionale Immersive Echtzeitanzeige mit 2D- oder 3D-Projektoren

Erzeugung eines immersiven  Soundscapes 

 

 

Video: Tobias Gremmler


Zeitplan

 

Wir haben Zeit in Storyboard, visuelle Konzeption und Proof of Concept Unreal Prototypen gesteckt. Der Vorläufer eines Prototyp vereint bereits nDisplay mit mehreren 3D Beamern, Motion Tracking und erste visuelle Tests, welche auf der Ziel-Hardware laufen.

Mit Projektbeginn 01.07.2020 entwickelten wir das Konzept (1 Monat) und den Prototypen (3 Monate) für ein kurzes Showing mit zwei Live- Tänzern  (Dauer ca. 20 Minuten), um die Möglichkeiten in einer kurzen Performance zu präsentieren.

Dieses Showing wird bei nächster Gelegenheit /oder zu gegebener Zeit in München im Kulturzentrum “Muffatwerk” einem ausgewählten Publikum aus Politik und Kultur, sowie aus der Museums-, Theater-, Show- und Veranstaltungsszene vorgestellt.  

Für diese „Showing“ haben wir die Unterstützung des Kulturreferates München und des Deutschen Museums München (VR Lab).

 

Video: Tobias Gremmler



Video:

Angelika Maria Meindl Mahnecke/ creative director, chroeography

Thomas Mahnecke/ visualizations, technical management

 

Premiere of Man Machine Part 3 in the "Kraftraum" of the Deutsches Museum in October 2018

Förderer und Unterstützer: