In het kader van het project Proeftuin Media XR & 5G is in samenwerking met PlayAR een onderzoek gevoerd naar de implementatie van Augmented Reality (AR) op stadion schaal. Het hoofddoel van deze use case was het identificeren van de geschikte tools en methodes voor het bouwen van een stabiele AR-ervaring in een grootschalige venue.
Evaluatie van Visual Positioning Systems (VPS)
Een belangrijk onderdeel van een stadion AR ervaring is de nauwkeurigheid van de lokalisatie. Voor dit onderzoek werden drie van de meest gebruikte VPS-oplossingen tegen elkaar afgewogen:
- Google AR Core Geospatial API: Bij testen bleek deze tool niet accuraat genoeg. Dit kan te wijten zijn aan het feit dat er minder scandata is van binnenin het stadion t.o.v. de buitenkant.
- Niantic Lightship VPS: Deze plugin werkt zeer goed voor kleinere objecten en herkenningspunten zoals stanbeelden etc. Voor objecten of ruimtes met een diameter groter dan 10 meter is het echter minder geschikt.
- Immersal VPS: Deze tool kwam als meest geschikte oplossing uit de bus. Immersal heeft namelijk op hun website ook enkele use cases specifiek voor stadia ontworpen en legt, in de documentatie althans, geen limieten op de grootte van het scan onderwerp.
Uit direct overleg met Immersal bleek dat zij voor stadion-projecten werken met op maat gemaakte oplossingen. Een proof-of-concept (POC) op dit niveau vereist een investering van circa €15.000. Hiernaast kan je ook aan de slag met hun enterprise licentie, die destijds geschat weren op €1.000 à €2.000 per maand. Aangezien de custom oplossing niet binnen het budget lag, kregen we voor dit onderzoek toegang tot een enterprise trial-licentie, wat geavanceerde functies mogelijk maakte zoals het gebruiken van een LiDAR scan voor de localisatie, map stitching en het verwerken van grotere hoeveelheden beeldmateriaal bij het creëren van een VPS-scan.
Voorbeeld van hoe VPS werkt uit de Google AR Core documentation
MCT Studenten project
Het vervolg van het onderzoek werd in een studenten eindwerk gegoten en werd uitgevoerd door twee studenten MCT. Zij focusten op de optimale scanmethode binnen de enterprise-omgeving van Immersal en het creëren van een AR-ervaring in het stadion van KV Kortrijk.
Testen en resultaten
Er werden verschillende technieken vergeleken voor het in kaart brengen van de omgeving:
- Immersal Smartphone-applicatie
- 360°-camera’s
- Dronebeelden
- LiDAR-scanners
De resultaten toonden aan dat de manual scan mode van de Immersal-app de meest betrouwbare lokalisatie opleverde. Bij deze methode worden foto’s handmatig genomen, waarna de posities via een algoritme worden gecalculeerd i.p.v. het real time berekenen via SLAM zoals bij de auto scan mode.
Geïdentificeerde knelpunten
Tijdens de ontwikkeling in Unity kwamen enkele technische beperkingen aan het licht:
- Scan grootte: Het stadion in één scan verwerken, leverde minder goeie lokalisatie op. Het opsplitsen van de scan in meerdere kleine scans leverde betere resultaten op.
- Laadtijden: Het gebruik van grote point clouds uit LiDAR-scans verhoogde de laadtijden aanzienlijk, wat de gebruikerservaring kan beïnvloeden.
- Software: De lokalisatie leek vaak beter te presteren in de native app van Immersal dan binnen de Unity-plugin, ondanks het gebruik van identieke scans.
De studenten leverden uiteindelijk een werkende AR ervaring af waar een draak het stadion kwam binnen vliegen.
Conclusie en vervolg
Hoewel de technische haalbaarheid door deze POC werd aangetoond, was het moeilijk om een vervolg te schrijven voor deze use case.
Er werd gezocht naar een Belgische sportclub om deze POC van content te voorzien en op deze manier onderzoek te doen naar de schaalbaarheid van zo’n XR applicatie doormiddel van 5G. Dit bleek echter uitdagend door de manier waarop fans in België een sportwedstrijd beleven. Waar een sportwedstrijd in de VS als een dagvullend evenement wordt beschouwd met veel ruimte voor randentertainment, beperkt de Belgische supporterservaring zich vaak tot de duur van de wedstrijd zelf. Hierdoor werd er niet genoeg interesse gewekt bij de sportclubs en vonden we geen partner om verder te gaan met deze use case.
De opgedane expertise bood echter een goede basis voor onze volgende AR use cases.
