De technologische vooruitgang op het gebied van Mixed Reality vindt langzaam maar zeker zijn weg in onze cultuur. Hoewel we tegenwoordig veel voorbeelden van deze technologie zien in tentoonstellingen, VIP-ruimtes bij sportevenementen en interactieve trainingen, blijven concrete toepassingen in de bredere media nog achter. Het is duidelijk dat er behoefte is aan pioniers die het voortouw nemen en immersieve voorstellingen verzorgen om de (on)voorziene uitdagingen aan te gaan.
Een van deze pioniers, Tin Drum, heeft onlangs een nieuwe voorstelling gelanceerd genaamd KAGAMI in het Griffin Theater van The Shed in New York. Deze voorstelling combineert theater, muziek, film en Magic Leap 2 Mixed Reality headsets. De ervaring is gebaseerd op een volumetrische opname van de inmiddels overleden componist Ryuichi Sakamoto en biedt het New Yorkse publiek een unieke kans om de toekomst van live optredens in mixed reality te verkennen.
De Creatie van KAGAMI
KAGAMI, wat “spiegel” betekent in het Japans, begon zijn productie in 2020. Regisseur Todd Eckert en Sakamoto reisden naar Tokio om Sakamoto vast te leggen met behulp van een vier-camera volumetrisch opnamesysteem terwijl hij tien solopiano-stukken speelde. Sakamoto’s werk overschrijdt genres en omvat elementen van klassieke muziek, jazz, dans en filmmuziek. Eckert, een voormalig content executive van Magic Leap en een pionier op het gebied van augmented reality, integreerde de volumetrische opname van Sakamoto in een virtuele 3D-wereld. Met behulp van Magic Leap-headsets kan het publiek vrij rondlopen en Sakamoto’s hologram vanuit verschillende hoeken bewonderen, omringd door speciale effecten en afbeeldingen die geïnspireerd zijn door de muziek.
Balans tussen Exclusiviteit en Haalbaarheid
Vanwege de hoge kosten en complexiteit heeft de voorstelling een beperkte looptijd en een eerder exclusief karakter. De show sluit al op 2 juli, minder dan twee weken na de opening. Het blijkt een uitdagende taak te zijn om theater te maken wanneer elke van de 80 toeschouwers voorzien moet worden van een Magic Leap 2 XR-headset. Om de ervaring compleet te maken werkt ook samengewerkt met Ogata, een aroma-producent. De concertruimte werd doelbewust gevuld met de geur van gember, citroengras en jeneverbessen. De aanwezigen kregen zelfs een staaltje van de geur me om de luxe-ervaring compleet te maken.
Verkenning van de Immersie
Tijdens de eerste rapportage over de voorstelling vielen al enkere interessante aspecten te analyzeren.
- De interactie vanuit het publiek kwam zeer stroef op gang. Uiteindelijk kwam er pas beweging onder de toeschouwers wanneer iemand het voortouw nam om de zaal te verkennen met de XR-bril en het virtuele hologram van de artiest, in combinatie met de omgeving die op de muziek reageert, uit een ander perspectief ging bekijken. Er was eveneens twijfel om te applaudiseren, uit twijfel of het hologram dergelijk eerbetoon verdiend had. Het lijkt er op dat tijdens een XR-gebaseerde voorstelling de zogenoemde “gangmakers” of “publiek-managers” hun rentrée zullen moeten maken.
- Het gebruik van geur als derde zintuig (naast gehoor en zicht) is een subtiele, maar krachtige manier om de hele ervaring herkenbaar te maken. Een staal van die exacte geur kan dan ook een perfecte souvenir zijn, wat de band met een publiek nog meer versterkt. Dit is zeker een piste die nog verder onderzocht kan worden.
- De moeilijkheden met het verstrekken van XR-headgear zullen de komende voorzienbare tijd niet meteen van de baan raken. Desondanks dat de organisatie een disclaimer heeft opgesteld waarin voorgedragen wordt dat het dragen van brillen op sterkte in combinatie met de Magic Leap 2 niet comfortabel. Toeschouwers worden zelf verantwoordelijk geacht voor het dragen van contactlenzen. Toch probeert de organisatie oplossingen te bieden, maar hoewel er een beperkte selectie standaardlenzen beschikbaar is, wordt het niet sterk aanbevolen om hier gebruik van te maken.
- De laatste woorden van de artiest waren zeer toepasselijk: “Art is long, life is short” en “Deze virtuele versie van mij zal niet ouder worden en zal nog jaren, decennia, eeuwenlang piano spelen.”
Conclusie
Terwijl we verdergaan in dit tijdperk van technologische vooruitgang, is het belangrijk om ons bewust te blijven van de uitdagingen en kansen die het met zich meebrengt. Door te experimenteren en te innoveren, kunnen we nieuwe manieren ontdekken om kunst te ervaren en te beleven. KAGAMI is slechts een vroeg voorbeeld van wat er mogelijk is, en het belooft een unieke en onvergetelijke ervaring te zijn voor degenen die de kans krijgen om het bij te wonen. Laten we deze pioniers toejuichen en blijven streven naar een toekomst waarin technologie en kunst hand in hand gaan om ons te betoveren en te inspireren.
