XR betekent een geheel nieuwe manier van interactie, die veel op interactie in de werkelijke wereld lijkt. Zeker als daar ook avatars te zien zijn, van de personen die ook in de ruimte zijn.  En last but not least, geluid is een belangrijke factor in XR die vaak vergeten wordt. Geluid kan iets toelichten, de sfeer bepalen of werken als gids. 

Nog meer dan bij hardware is de sky de limit bij XR content en toch kan je met eenvoudige middelen veel effect bereiken. Het gaat om het plaatje en het praatje.

https://www.dpreview.com/articles/2704819120/ricoh-theta-v-hands-on

Wat belangrijk is, is dat je de camera ziet als de ogen van je bezoeker. Dus plaats de camera op de plek, waaruit je de situatie wil laten zien. 

• Plaats de camera zo, alsof deze deel uitmaakt van de beleving
• Plaats de camera laag, om iemand klein te laten voelen. 
• Plaats de camera hoog en je wordt een reus.
• Plaats een camera op de rand en je ervaart de hoogte
• Let op bij het bewegen van de camera bij bv. videos. Doe dit heel voorzichtig en vloeiend, want het gevaar van zeeziekte bij de kijker ligt om de hoek. 

Het bestandsformaat is jpg (jpeg) dus de foto kan bewerkt worden met Photoshop of elke andere tool.

Gebruik een 360 graden video is om de werking van een machine te laten zien, mensen uitleg te geven over een procedure of om mee te laten rijden met wat voor voertuig dan ook. Dankzij de goede compactcamera’s is alles mogelijk en voor iedereen bereikbaar.

Stereoscopische 360 graden videos

360 Graden foto’s en video’s zijn natuurlijk niet 3D, dus je kan niet echt door een ruimte bewegen. Door in te zoomen, krijg je als bezoeker wel een beetje een 3D gevoel, zeg maar 2.5D. Door op te nemen met een stereoscopische camera, kan er een meer 3D gevoel worden gecreëerd. Dit is een stuk complexer en kan alleen met camera’s met minimaal 6 lenzen. Ook het bewerken van de beelden achteraf is omslachtig. Het 3D effect is beperkt tot een straal van circa 10 meter om de camera. Bij objecten verder weg, ebt het stereoscopisch effect weg. 

Het maken van een 360 graden stereoscopische video heeft vooral zin, als er mensen, dicht bij de camera acteren.

5.3 360 Graden Foto’s en video camera’s

Het maken van goede 360 graden beelden wordt steeds makkelijker en betaalbaarder. In onderstaande tabel zijn een aantal camera’s vergeleken. En eerlijk gezegd zijn er slechts twee merken die goede en ook betaalbare 360 graden camera’s op de markt brengen.

	Insta ONE X ?????	Insta 360 EVO ?????	Theta V ?????	Theta Z1 ?????	Insta 360 PRO ?????
Afbeelding
Resolutie foto (px)	6080×3040	6080×3040	5376×2688	7296×3798	7680×3840
Resolutie video (px)	5730×2880 30fps	5730×2880 30fps	3840 x 1920 30 fps	3648x 1824 30 fps	3840×1920 30fps 7680×3840@30fps (8K)
Livestream	Ja	Ja	Ja	Ja	Ja
Waterdicht	Ja, met behuizing		Ja, met behuizing € 199	Ja	Nee
Spatial audio	Nee	Nee	Ja, met extra audio module	Ja	Ja
Stereoscopisch	Nee	Ja, 180 graden	Nee	Nee	Ja
Prijs	€ 570	€ 469	€ 399	€ 999	€ 3999
Voordelen	Erg goede film kwaliteit Losse accu Losse memory card	180 graden en 360 graden beeld	Goede stitching Add-on microfoon € 269	Erg goede fotokwaliteit	Resolutie Stereoscopisch
Nadelen	Foto kwaliteit wat minder Gebruiks- gemak software	Gebruiks- gemak software	Geen losse accu Geen losse memory card	Video kwaliteit wat minder	Professionele bewerkings- software nodig

Insta360 heeft ook twee leuke instap camera’s, de ONE en GO en een professionele camera de Insta360 Pro2 van € 5599. De Vuze is een alternatief voor de  Insta 360 EVO.

5.4 3D scènes voor VR en MR

Als een omgeving nog niet bestaat, of als er een droomwereld moet worden gepresenteerd, dan is er een 3 dimensionale CAD (Computer Aided Design) omgeving nodig. Om een CAD wereld te maken is ontwerp- of game software nodig. Hoewel het maken van 3D moeilijk lijkt, baart oefening kunst en worden bijvoorbeeld in Minecraft hele werelden gebouwd.

5.5 3D objecten voor AR, VR en MR

Waar 3D werelden vooral nodig zijn voor VR/MR belevingen is met AR de wereld je canvas. In AR heb je alleen virtuele objecten nodig. Natuurlijk kunnen er ook tekst, afbeeldingen etc worden toegevoegd, alleen om een XR beleving te laten aansluiten bij de werkelijkheid zijn 3D objecten meer voor de hand liggend. Computers kunnen alleen rechte lijnen maken, dus ronde vormen worden gemaakt door samengestelde kleine driehoekjes genaamd polygonen. 

5.6 3D Scanners

Het scannen van objecten en ruimtes is een efficiënte manier om een XR beleving te maken. Het maken van gedetailleerde CAD beelden, is erg arbeidsintensief en daardoor duur. Kijk maar eens om je heen en kijk op details in een houten tafelblad, bekleding van een bank of planten. Hier komt het scannen om de hoek kijken. Er zijn een viertal technieken beschikbaar, die al dan niet gecombineerd een 3D scan kunnen maken van object of ruimte: 

• Lidar, deze lasertechniek meet via laser-pulsen. Dit kan op grote afstand (inscannen maan) tot hoge detaillering (inscannen gezicht).
• Infrarood, hier wordt een lijn van licht op een object geprojecteerd en de afwijkingen van de lijn worden gemeten. Infrarood scannen wordt ook gebruikt om een schilderij door te lichten en verborgen lagen zichtbaar te maken.
• Foto Scanning, Photogrammetry, door vanuit verschillende hoeken, foto’s te maken wordt een 3D beeld berekend. Dit kan alleen met stilstaande objecten
• Video scanning, Videogrammetry, door met meerdere camera’s een bewegend object te filmen, kan hiervan een bewegend 3D model gegenereerd worden. Hiervoor is en een opstelling met 32 camera’s, een rondom greenscreen en geavanceerde verwerkingssoftware nodig.

Scanners zijn er in alle soorten en maten, van een gratis app tot een Lidar scanner om omgevingen vast te leggen van zestienduizend euro. Sommige oplossingen komen samen met een softwareplatform. Hieronder is een overzicht gemaakt van aantal veel gebruikte scanners.

	3D Systems Sense 2	Structure Sensor	iPad Pro 2	Matterport	Leica BK360
Afbeelding
Techniek	Photo- grammetry	Photo- grammetry	Lidar	Photo- grammetry	Lidar
Gebruik	Objecten tot 1m	Objecten en kleine ruimten	Objecten tot 5 m	Grote objecten en ruimtes	Grote ruimtes en buiten
Prijs	€ 450	€ 527	€ 899	€ 3200	€ 16000
Voordelen	Handzaam	Goed en handzaam	Ook een tablet	Mooie resultaten	Nauwkeurig scannen buiten
Nadelen	Alleen scannen kleine objecten	Werkt alleen met tablet	Scan tot 5 m	Bijbehorend software platform nodig	Prijs

5.7 XR user interface (UI) en experience (UX)

Zijn we eindelijk gewend aan touchscreens, in met een XR bril op kan je niet meer bij het scherm, dus zijn er nieuwe manieren nodig om de interactie aan te gaan. Bij AR kan je nog gewoon bij het scherm, dus kan er meer geleund worden op bestaande UIs. 

Focus vrijheid

Met een XR bril op, kijk je als met een verrekijker, dit betekent dat je rekening moet houden wat comfortabel is voor de bezoeker. Het blikveld wordt gedeeltelijk beperkt door de bewegingsvrijheid van de gebruiker.

Logischerwijs is het midden van het blikveld de plek waar de meeste aandacht naar uit gaat. En zo ziet dit er uit in beeld.

https://developers.google.com/

Uiteraard kan de bezoeker bewegen en verplaatst het focusgebied.

Afstand

Objecten kunnen dichter of verder weg worden geplaatst. Alles binnen een halve meter, is de voorgrond en binnen reikwijdte. Tot 15 meter neem je meer detaillering waar. Dit is ook de grens dat je in de echte wereld echt 3D ziet. Alles verder dan 20 meter is de achtergrond en wordt in 2D waargenomen.

Let op dat iets 2 keer zo ver weg, ook twee keer zo groot moet worden om even groot te lijken.

Tekst

Tekst is lastiger leesbaar in een headset. Gebruik dus geen grote lappen tekst, maar kies bijvoorbeeld voor een voice-over of een filmpje. Leesbare tekst die verder weg staat, dient dus ook groter te worden. Test dit altijd goed met een XR bril op.

Navigatie | WASD of cursor knoppen op laptop

WebXR projecten kunnen ook op de laptop bekeken worden. Uiteraard kan een muis of trackpad gebruikt worden om al slepend rond te kijken. Vaak zijn ook de WASD of de cursor pijltjes te gebruiken om rond te bewegen in de virtuele wereld.

Navigatie | Virtuele controllers op touchscreen

Op een touchscreen kunnen virtuele controllers te zien zijn, die gebruikt kunnen worden om te bewegen. In bijgevoegd voorbeeld kan het kleine blauwe bolletje bewogen worden en gaat de camera de betreffende kant op.

Navigatie | Checkpoints

Checkpoints zijn punten in de ruimte, waar je via Gaze-control naar toe kunt gaan. Checkpoints zijn een handige manier om te teleporteren in een 3D ruimte, wanneer je geen controller hebt. Het nadeel is dat de bezoeker alleen op de checkpoints kan gaan staan.

Navigatie | Teleporteren

Als naar een standpunt wilt gaan, die buiten je blikveld ligt, gebruik dan teleporteren. Via een link geef je aan naar welke omgeving je gaat. Zo sla je ook niet relevante tussenruimten over.

Navigatie |Plattegrond

Omdat er bij teleporteren geen visueel verband meer is tussen de ruimtes, kan een plattegrond op de grond helpen om de gebruiker te laten weten, waar men is in de XR beleving.

Navigatie | Guardian

Bij een 6DoF headset kan vrij bewogen worden en is de enige beperking de fysieke ruimte waar je in bent. Met een Guardian wordt het speelveld virtueel omkaderd, zodat je niet tegen objecten buiten het speelveld opbotst. Dit is uiteraard voor van toepassing in VR, omdat hier de werkelijke wereld niet zichtbaar is. Hieronder zie je de Guardian van de Oculus Quest.

Handen als controllers

2020 Is het jaar dat de handen controllers worden in XR. Zowel de Oculus Quest als de Hololens ondersteunen deze functie en dit betekent veel hoe interactie gaat plaatsvinden in XR. Zo kan je een toetsenbord projecten in XR, alleen is dat wel erg oude wijn in nieuwe zakken. Grijpen, reiken en aanwijzen zijn natuurlijke en universele bewegingen alleen hoe ga je met je handen navigeren? 

Virtuele tatoeages

Omdat je je handen altijd bij je hebt, maakt het gebruik van virtuele tatoeages een geheel nieuwe manier van besturing mogelijk. Of je nu een virtueel toetsenbord of joystick projecteert op arm of hand, of je arm een drager maakt van verschillende armbanden. De mogelijkheden zijn echt legio. Het even geduurd voordat de “Hamburger-menu ?” universeel werd. Door de enorme vrijheid in XR zal een nieuwe universele taal bedacht worden. Een mix van gebaren, verkeersborden en pop-ups zal straks onderdeel worden van onze XR wereld. Zoals dit concept van Leapmotion hieronder.

Geluid | Vergeten prikkel

Waar geluid op websites soms als hinderlijk worden ervaren is geluid in XR een essentieel en vaak vergeten prikkel. Geluid kan als achtergrond gebruikt worden als sfeermaker of het versterken van effecten. Je hoeft alleen maar water te horen en je denkt aan regen. Plaats ruimte om mensen te gidsen en toelichting te geven over de gekozen kijkrichting. Plaats geluid bij objecten om aanvullende info te geven. Geluid kan in de ruimte geplaatst worden. Je kijkt naar het raam en hoort de vogeltjes fluiten.

3D geluid

Geluid komt van verschillende kanten. In de echte wereld gebeurt dit automatisch omdat de geluidsbron ergens staat ten opzichte van de oren van de bezoeker. Daarnaast weerkaatst geluid via wanden, vloeren en objecten. Ook klinkt geluid anders, afhankelijk van de kijk (oor) richting van de bezoeker.

Bron: Google.com/vr

Ruimtelijk geluid (Spatial Audio) maakt een VR beleving nog krachtiger en kan gebruikt worden om mensen te sturen of te begeleiden. Het formaat wat gebruikt wordt voor ruimtelijk geluid heet Ambisonics.

5.8 Avatars

Niet alleen gidsen zijn zichtbaar in XR. Een avatar is in het Hindoeïsme een verschijning van een bepaalde godheid. In XR is het minder verheven. Wanneer meerdere mensen tegelijk een ruimte bezoeken, zijn deze zichtbaar via een avatar. Het meest simpele is om te laten zien in welke richting iedereen kijkt. Als een gebruiker controllers heeft, kun je die bewegingen ook laten zien. Avatars kunnen ook een grafische weergave zijn van een persoon, zoals Facebook dat doet in hun Places. Met Pinscreen maak je van een foto een 3D avatar, en zo zijn er veel meer diensten.

Door de mond te laten bewegen als er wat gezegd wordt en met eyetracking de ogen te projecteren in XR, gaan Avatars er stap voor stap steeds realistischer uit zien. Vaak biedt een platform eigen tools om de avatar aan te passen.

5.9 Effecten

In de werkelijke wereld veranderen de omstandigheden continu. Veranderend licht, neerslag, rook of duisternis beïnvloeden ons zicht. Door dit toe te voegen aan XR, maakt een beleving nog echter. 

Zaklamp

Een ontruimingsoefening wordt een stuk moeilijker als je kunt rondkijken alsof je alleen licht van een zaklamp hebt.

Neerslag of rook

Versterk een buitengevoel en laat het regen. Maak een gevaarlijke situatie nog spannender door de ruimte te laten vullen met rook. Op deze manier kunnen oefeningen ook moeilijker gemaakt worden, afhankelijk van het niveau van de trainee.

Verborgen elementen

Je kan een 360 graden zoekplaatje maken en gevaarlijke situaties of Waldo laten zoeken. Ook kan je pop-ups pas op laten komen als er bijvoorbeeld naar het gestreepte gebouw wordt gekeken. De track-area/trigger zie je niet, dus je moet dan goed kijken om een opdracht te volbrengen.

Een hotspot plaatsen boven of onder het normale blikveld, dwingt mensen ook om goed rond te kijken. Of plaats een belangrijke link achter iemand. Zo weet je zeker dat ze eerst hebben rondgekeken, voordat ze verder gaan.

Timing elementen

Toon objecten pas na een bepaalde tijd, bijvoorbeeld de link naar een volgende scène. Zo dwing je bezoekers eerst een tijdje de situatie te bestuderen. Zo kan je ook elementen weer laten verdwijnen na een bepaalde tijd, of gedeelten van de omgeving afdekken. Zo maak je een speurtocht moeilijker.

Regels

If-this-then-that, zijn de meest basale regels die van een XR omgeving een escaperoom kunnen maken. Stel je geeft een verkeerd antwoord, dan ga je een stap terug. Geef een antwoord een bepaalde score en toon nieuwe opties pas als er een bepaalde score behaald is. Geef je een goed antwoord dan ga je een stap of ruimte vooruit. IFTTT.com is er groot mee geworden. Natuurlijk kunnen regels geprogrammeerd worden. Blockly is een eenvoudige manier om regels op te bouwen. 

XR content is te verrijken met allerlei soorten effecten en regels waardoor een situatie ook interessant blijft voor terugkerende bezoekers. Als je al zin hebt om aan de slag te gaan en er is al een XR bril beschikbaar, dan is er content nodig.

5.10 Verkrijgen XR content

XR content is in er in allerlei soorten en maten en de aanbieders van camera’s, scanners en 3D vormgevers zijn ontelbaar. De afgelopen jaren zijn een aantal oplossingen voorbij gekomen die de moeite waard waren. Per type content is zijn er vaak meerdere online marktplaatsen of publicatieplatformen. Een aantal soorten XR content zijn kinderlijk eenvoudig te maken.

360 graden scenes

Een goede 360 graden compactcamera heeft zichzelf snel terugverdiend en deze beelden zijn, met de camera op een statief goed te maken. 360 Graden foto’s kunnen ook worden toegevoegd aan de Google zoekresultaten, zodat je bezoekers direct kan laten rondkijken. De gemaakte videos kunnen ook naar YouTube of Vimeo.

Sketchfab

Sketchfab is een marktplaats met veel en verschillende typen XR content tegen betaalbare prijzen. Het is echt ongelofelijk wat hier allemaal te vinden is. Al is het maar om snel een prototype te maken.

Minecraft

Tijdens de Corona-uitbraak in 2020 hebben scholieren, gezamenlijk hun school nagebouwd in Minecraft. Een ideale manier om op afstand samen te werken en de modellen kunnen geëxporteerd worden voor verder gebruik in VR.

Vooral het 3D scannen zal de komende tijd een vlucht gaan nemen. Steeds meer smartphones hebben meerdere camera’s waardoor het vastleggen van een omgeving steeds makkelijker wordt. Content maakt nog geen XR beleving, net zoals opnames van verschillende scenes, nog geen film is. 

5.11 Hardware en content mix

Content zijn de bouwblokken voor een XR beleving. En XR belevingen zijn er in verschillende typen. Van een instapmodel, tot een sportauto, alles is mogelijk bij een auto en dat is bij XR hetzelfde. Als je rond kunt kijken in een omgeving, dan is het logisch dat je ook verder wilt kijken. Een 3D object in de browser is gaaf, alleen het effect wordt groter als je iets over het model kunt leren. Een 360 graden foto geeft een goed beeld van een ruimte, en je leert pas de weg als je door verschillende ruimtes kunt bewegen. Zoals bijvoorbeeld bij Google Streetview.

Door interactie toe te voegen aan XR content, ontstaat er een XR beleving. En deze belevingen kunnen op een breed scala aan apparaten bekeken worden.

Magic Window of VR-view met 360 graden beelden

Iedereen kent wel Google streetview. Door de muis te slepen of de tablet/smartphone te bewegen, kan er rondgekeken worden. Het rondkijken door te bewegen is mogelijk wanneer een apparaat een gyroscoop heeft. De meeste moderne smartphones en zelfs tablets hebben deze. Kijk voor een overzicht van de smartphones met een gyroscoop hier.

In Magic Window view wordt naar het scherm gekeken, zonder VR bril, en is door de muis of bewegen van het apparaat de volledige omgeving te zien. Deze stand is ook ideaal om een VR beleving te tonen voor een klas. De beleving en diepte ervaring is een stuk lager, omdat de werkelijkheid nog goed zichtbaar is.

Met een VR bril op is men volledig afgezonderd van de werkelijke wereld en kan men ook echt 3D zien. Dit geeft veel meer de beleving van echtheid dan kijken naar een scherm.

Magic Window en VR-view voor gebruik alle beeldschermen vrmaster.vrdeck.co/welcome.

AR beleven met 3D animatie

De meeste voorbeelden van AR worden bezocht met een tablet of smartphone, al is het alleen al vanwege het feit dat bijna iedereen die tot zijn beschikking heeft. Het inzetten van AR kan heel eenvoudig, zoals Google doet door AR beelden toe te voegen aan de zoekresultaten, tot complex zoals het eerder genoemde opmeten van een trap mbv AR.

Voorbeeld tonen 3D animatie in AR, in de zoekresultaten van Google.

Interactieve VR tour met 360 beelden en 3D objecten

De eerste reactie die veel mensen hebben is om te gaan lopen in VR, dit kan (meestal) niet alleen, omdat er in de werkelijke wereld obstakels en (trap-) gaten zijn, die niet in VR terugkomen. Wel kunnen er hotspots worden toegevoegd om naar een ander standpunt te gaan, of kan via de controller door de wereld bewogen worden. Voeg hotspots toe voor interactie, informatie en navigatie. Let op dat het gebruik van 360 graden video en 3D objecten minder geschikt is voor smartphones en tablets. Zeker in VR vraagt dit veel rekenkracht en is een duurdere en meer recente smartphone nodig.

Interactie met 3D objecten

Om interactie te hebben met 3D objecten is er minimaal een 3 DoF controller nodig. Dit geeft al wat gestuntel, en de beste ervaring voor interactie met 3D objecten is met 6 DoF controllers of handtracking. Zeker met gebruik van je handen, is het oppakken van objecten zo natuurlijk dat dit niet alleen kan worden ingezet voor technische training maar zeker ook voor therapie en revalidatie.

3D XR belevingen

Met 3D belevingen wordt het maximale benut van de techniek omdat elke computerwereld bezocht kan worden. Loop door een fantasiewereld en voer opdrachten uit in een spel of bezoek een gebouw en beoordeel de inrichting, voordat deze gebouwd is. Ook kan ene bestand gebouw ingescand worden, voor een virtuele rondleiding of ontruimingsoefening. Dit soort belevingen komen het best tot zijn recht met een 6DoF bril, omdat je dan als gebruiker de vrijheid hebt om rond te lopen. Toch kan je zo’n omgeving ook bekijken op de laptop, met gebruik makend van cursor. 

Er zijn dus verschillende combinaties mogelijk met de verschillende soorten content en hardware.

Bekijk het door de juiste bril

Niet elke content is geschikt om af te spelen op elke VR bril. De rekenkracht en schermresolutie zijn belangrijke voorwaarden om VR goed te beleven. 

  * Met een VR bril met smartphone is er geen invloed op welke telefoon gebruikt wordt. En omdat er grote verschillen tussen een apparaat van 3 jaar terug en nu, kan het zijn dat sommige functies niet goed werken. iPhone gaat weer anders om met XR in het algemeen en geluid en video in het bijzonder,  dan Android. Wil je een XR beleving op elk apparaat kunnen zien, kies dan voor 360 graden foto’s.

** Er zijn twee soorten MR brillen, de brillen met holografische projectie (Hololens) en brillen met see-through techniek (Samsung Odyssey). Uiteraard is deze laatste ook goed geschikt voor VR. 

5.12 Maken XR beleving (DIY)

Het maken van 360 graden foto’s kan zelfs met een telefoon, alleen gaat het met een compact camera een stuk eenvoudiger. Voordeel is dat zo’n camera ook video kan schieten. Alleen heb je nog geen interactie. Hiervoor zijn een aantal eenvoudige editors en tour creators beschikbaar. Het is belangrijk om te beginnen met een script en stel je de volgende vragen:

• Wie is de doelgroep?
• Wat is de boodschap?
• Welke effect moet er bereikt worden?
• Wat is de call-to-action?

Maak gebruik van onderstaande template of gebruik van templates op bijvoorbeeld https://miro.com/.

360 graden foto tour

Het maken van een 360 graden foto tour gaat het meest eenvoudig met de Google Tour creator. Het grote voordeel is dat je zowel je eigen foto’s of Google Streetview foto’s kunt gebruiken. Ook kunnen de tours rechtstreeks in de browser bekeken worden.

Google heeft een uitgebreide handleiding gemaakt.

360 graden foto en video tour

Wil je meer functies en ook 360 graden video gebruiken,  kijk dan eens naar Fectar (bekijken via app) of  VRdeck (volledig web-based). 

Met deze platformen zijn de mogelijkheden echt enorm. Heb je basiskennis HTML, kijk dan eens naar deze Aframe VR tutorial en pas een scene aan via de inspector.

Maken 3D scene

Het kan zijn dat je een concept wil laten zien van een niet bestaande ruimte. Kijk dan eens naar de handige editor Mozilla Spokes. Hier kan je in een mum van tijd een 3D wereld maken.

AR toepassing

Fectar en VRdeck zijn ook te gebruiken voor het maken van een AR toepassing.  Ook 8th Wall of Zap.works (beide betaald) of gebruik Plugxr 30 dagen gratis. Zo kan je snel een prototype testen en verder ontwikkelen. 

Heb je basiskennis HTML, kijk dan eens naar deze Aframe tutorial en pas een scene aan via de inspector.

XR game

Met Co-spaces kan zelfs een 3D interactieve game maken en kan je aan de slag met VR/AR en de Merge Cube. 

Heb je basiskennis HTML, kijk dan eens naar deze Aframe AR tutorial.