Tijdens het project “Proeftuin Media XR & 5G” kregen we de kans om samen te werken met de Panamarenko Foundation.
De proof of concept (POC) die we in deze blogpost bespreken, is één van de projecten die uit deze samenwerking is voortgekomen.
Voor dit project werkte DAE-Research (Howest) samen met onderzoekers van het Immersive Lab (AP Hogeschool).
In deze blogpost verkennen we de gebruikte technologie en delen we enkele lessen die we tijdens het project hebben geleerd.
Het plan
We wilden onderzoeken hoe Augmented Reality (AR) gebruikt kan worden om het werk van Panamarenko op een vernieuwende manier te ervaren.
Hiervoor werd een AR-applicatie voor smartphones ontwikkeld die gebruikers naar het huis van Panamarenko leidt.
Eenmaal daar kunnen bezoekers rondwandelen tussen gevirtualiseerde kunstwerken van Panamarenko.
De kunstwerken
Na een evaluatie van welke kunstwerken het best bij deze ervaring pasten, werd beslist om Bing of the Ferro Lusto X en Flying Carpet te implementeren.
Deze werken werden gekozen vanwege de unieke uitdagingen die ze met zich meebrengen en waarvoor we oplossingen wilden onderzoeken.
Voor de Bing of the Ferro Lusto X werd gekozen voor fotogrammetrie. Door het solide materiaal en de duidelijke vormstructuur leende het kunstwerk zich goed voor deze techniek. Met behulp van een uitgebreide fotoreeks werd een 3D-model opgebouwd, waarbij voldoende overlap en consistente belichting cruciaal waren voor een bruikbaar resultaat.
Na de reconstructie werd het model geoptimaliseerd en geanimeerd zodat het geschikt was voor realtime gebruik binnen de AR-ervaring en kon fungeren als begeleidend element voor de gebruiker.
De Flying Carpet vereiste een andere aanpak. Door het gebruik van dunne en deels transparante materialen bleek fotogrammetrie ongeschikt. Daarom werd gekozen voor een handmatige reconstructie op basis van fotoreferenties en schaalvergelijkingen.
Bij het modelleren lag de focus op het behouden van de visuele herkenbaarheid en het silhouet van het werk, met aandacht voor performance en leesbaarheid binnen een mobiele AR-context.
De garage
In de garage kwamen AR, fotogrammetrie en AI samen, wat meteen een extra mogelijke toepassing van deze technologie aantoont. Gebruikers krijgen een inkijk in een ruimte zonder fysieke toegang, en dit op schaal en in context.
Wanneer de gebruiker dicht genoeg bij het huis is, wordt gevraagd om in de richting van het huis te kijken. Op die manier kan de applicatie het huis detecteren via VPS en de virtuele objecten correct positioneren.
Zodra het huis is herkend, kan de gebruiker op “start” drukken om een animatie te starten, waarna de Bing en de Flying Carpet uit de garage tevoorschijn komen.
Daarna kan de gebruiker rond de kunstwerken wandelen en ze van dichtbij bekijken. Het is ook mogelijk om een kijkje te nemen in de garage.
De binnenzijde van de garage werd aanvankelijk gescand met PolyCam, maar door de rommelige en complexe aard van de ruimte bleek deze scan onbruikbaar voor de eindervaring. De fotogrammetrie kon de vele overlappende objecten niet voldoende van elkaar onderscheiden, wat resulteerde in een onregelmatige mesh.
Een volledig handmatige reconstructie was binnen de beperkte tijd niet haalbaar, waardoor gekozen werd voor een hybride aanpak. De afmetingen van de oorspronkelijke scan werden gebruikt om de muren te modelleren, terwijl de texturen werden afgeleid uit een bestaande virtuele 360°-tour van het Panamarenkohuis. Deze beelden werden gecorrigeerd voor lensvervorming en opgeschoond in Photoshop.
Voor de objecten in de garage bleken standaard asset libraries onvoldoende, terwijl handmatig modelleren te tijdsintensief was. Daarom werden screenshots gebruikt als input voor mesh-genererende AI-tools zoals TripoAI en MeshyAI. Dit leverde grotendeels onmiddellijk bruikbare resultaten op, met uitzondering van enkele zeer complexe objecten, die werden vervangen door library-assets. Algemene elementen zoals dozen en gereedschap werden eveneens aangevuld met bestaande assets, terwijl de garagedeur en planten handmatig werden gemodelleerd en geanimeerd.
De gebruiker begeleiden
Om gebruikers op een intuïtieve manier naar het huis van Panamarenko te leiden, werd gekozen voor een visueel begeleidend element in plaats van klassieke navigatie-instructies. Een vliegende Bing fungeert als herkenbaar referentiepunt dat de gebruiker subtiel in de juiste richting stuurt.
Deze aanpak verlaagt de cognitieve belasting en sluit aan bij de artistieke context van de ervaring. Wanneer de gebruiker zich voldoende dicht bij het huis bevindt, verandert het gedrag van de Bing en zweeft deze boven de locatie. Dit geeft op een natuurlijke manier aan dat de volgende fase van de ervaring kan starten. Pas wanneer de locatie via VPS betrouwbaar kan worden herkend, wordt het tweede deel van de ervaring geactiveerd.
Localisatie
Om virtuele objecten correct in een echte omgeving te plaatsen, moet een toestel kunnen bepalen waar het zich in de wereld bevindt. Hiervoor bestaan verschillende technieken, elk met hun eigen voor- en nadelen.
Voor dit project hadden we twee vormen van lokalisatie nodig:
één om de gebruiker naar het huis van Panamarenko te begeleiden, en een andere om de virtuele kunstwerken in de echte wereld te plaatsen zodat mensen eromheen kunnen lopen en ze vanuit alle hoeken kunnen bekijken.
Voor het begeleidende deel van de applicatie werd WPS gebruikt.
WPS staat voor World Pose System. Deze technologie maakt het mogelijk voor applicaties om te bepalen waar een gebruiker zich in de wereld bevindt.
In tegenstelling tot GPS combineert WPS GNSS-data met sensorgegevens van het toestel, wat resulteert in een betrouwbaardere lokalisatie.
De POC is gecentreerd rond het huis van Panamarenko. Met behulp van WPS is het eerste deel van de applicatie bedoeld om de gebruiker naar deze locatie te leiden.
Het voordeel van deze technologie is dat ze overal werkt (zolang GNSS-data beschikbaar is) en dat de ontwikkelaar niet vooraf alle mogelijke locaties hoeft voor te bereiden waar de gebruiker de applicatie zou kunnen openen.
Voor het plaatsen van de kunstwerken werd VPS gebruikt.
VPS staat voor Visual Positioning System. Deze technologie maakt het mogelijk om virtuele objecten met een nauwkeurigheid tot op centimeterniveau in de echte wereld te positioneren. Om dit te kunnen toepassen, moet eerst een scan worden gemaakt van de locatie waar de applicatie zal functioneren.
Uitdagingen & verdere verkenning
Hoewel deze proof of concept aantoont dat locatiegebaseerde AR haalbaar is binnen een erfgoedcontext, werden ook enkele duidelijke beperkingen zichtbaar.
Tijdens de begeleidingsfase kan de positie van de Bing enkele meters afwijken door de inherente onnauwkeurigheid van WPS. Hoewel dit de ervaring niet fundamenteel verstoort, benadrukt het de grens tussen globale lokalisatie en precieze plaatsing. Voor toekomstige toepassingen kan verder onderzoek worden gedaan naar een naadlozere overgang tussen WPS en VPS.
Daarnaast vraagt de visuele integratie van gescande omgevingen, zoals de garage, verdere verfijning. Met name belichting en schaduwmatching spelen hierbij een belangrijke rol en bieden ruimte voor toekomstige optimalisatie.
Conclusie
Deze proof of concept toont aan dat locatiegebaseerde Augmented Reality een haalbare en betekenisvolle manier kan zijn om cultureel erfgoed op een nieuwe manier te ervaren. Door het combineren van verschillende lokalisatietechnieken, met WPS voor begeleiding en VPS voor nauwkeurige plaatsing, konden gebruikers op een natuurlijke manier naar de locatie worden geleid en de kunstwerken in de echte ruimte beleven.
Het project maakte ook duidelijk dat de keuze van technologie sterk afhangt van de context. Transparante en complexe materialen blijven een uitdaging voor fotogrammetrie, wat handmatige reconstructie in sommige gevallen noodzakelijk maakt. Daarnaast bleek het gebruik van AI-tools cruciaal om binnen de beperkte tijdspanne hoogwaardige resultaten te behalen, zowel voor texturen als voor 3D-modellen.
Hoewel er nog ruimte is voor verdere verfijning, zoals een nauwkeurigere positionering bij WPS en een betere visuele integratie van de garagescan, bewijst deze POC dat AR niet alleen geschikt is voor het visualiseren van objecten, maar ook voor het “toegang geven” tot moeilijk toegankelijke ruimtes. Dit opent perspectieven voor toepassingen binnen erfgoed, musea en architecturale contexten, waar beleving en ruimtelijke ervaring centraal staan.
