5 Content is King
Voor een XR beleving is er content nodig. In VR/MR kom je terecht in een virtuele wereld waar je kan rondkijkenen rondbewegen. De meeste eenvoudige manier om een ruimte vast te leggen is met een 360 graden camera. Google, wie anders, heeft voor grote delen van de wereld hun streetview beelden gecombineerd met metingen van satellieten. Zelf scannen kan ook want de 3D scanners worden steeds handzamer zodat het niet alleen het scannen van een ruimte eenvoudig wordt. Daarnaast is het mogelijk om een complete 3D wereld te bouwen in CAD.
In AR komen digitale objecten terecht in de werkelijke wereld. Niet alleen voorwerpen ook bewegende mensen kunnen worden vastgelegd in 3D. Uiteraard kunnen 3D objecten ook in VR/MR gebruikt worden.
Effecten voegen een extra dimensie toe. Regen of duisternis geven een scène een bepaalde sfeer mee. Rook en vuur zijn ideale virtuele toevoegingen om noodsituaties te trainen. Effecten toevoegen is makkelijker dan je denkt en beïnvloeden hoe makkelijk je ene taak kunt uitvoeren.
XR betekent een geheel nieuwe manier van interactie, die veel op interactie in de werkelijke wereld lijkt. Zeker als daar ook avatars te zien zijn, van de personen die ook in de ruimte zijn. En last but not least, geluid is een belangrijke factor in XR die vaak vergeten wordt. Geluid kan iets toelichten, de sfeer bepalen of werken als gids.
Nog meer dan bij hardware is de sky de limit bij XR content en toch kan je met eenvoudige middelen veel effect bereiken. Het gaat om het plaatje en het praatje.
5.1 360 graden Foto’s
Iedereen kent Google Streetview dat het, sinds 2007, mogelijk maakt om rond te kijken overal op de wereld. En met de Android en iOS app is het mogelijk om Streetview in VR te beleven. Waar in 2007 nog een indrukwekkend systeem van camera’s en computers nodig was om de beelden te schieten en te verwerken, zijn er nu compactcamera’s van een paar honderd euro te koop die HD kwaliteit 360 graden foto’s kunnen maken. Ook zijn er smartphone apps om 360 beelden te schieten.
https://www.dpreview.com/articles/2704819120/ricoh-theta-v-hands-on
Wat belangrijk is, is dat je de camera ziet als de ogen van je bezoeker. Dus plaats de camera op de plek, waaruit je de situatie wil laten zien.
- Plaats de camera zo, alsof deze deel uitmaakt van de beleving
- Plaats de camera laag, om iemand klein te laten voelen.
- Plaats de camera hoog en je wordt een reus.
- Plaats een camera op de rand en je ervaart de hoogte
- Let op bij het bewegen van de camera bij bv. videos. Doe dit heel voorzichtig en vloeiend, want het gevaar van zeeziekte bij de kijker ligt om de hoek.
Het bestandsformaat is jpg (jpeg) dus de foto kan bewerkt worden met Photoshop of elke andere tool.
Equirectangular beeld
De meeste camera’s leveren een spherical/equirectangular beeld. Een spherical image wordt op een bol geprojecteerd om een 360 weergave te krijgen. Vandaar de vervormingen in het platte vlak. De foto is wat lastig te photoshoppen door de gebogen lijnen, maar rond de horizon is dat redelijk te doen.
Wil je een panorama maken uit meerdere foto’s of een bestaande panorama foto bewerken, kijk dan eens naar het opensource pakket Hugin.
Cubical projectie
Een formaat wat beter te fotoshoppen is zijn Cubical projecties. Je kan equirectangular omzetten naar cubical en visa versa met deze online tool: www.360toolkit.co. Let op dat dit wel wat kwaliteitsverlies kan opleveren, dus begin met een hoge resolutie.
Een 360 graden foto’s is ideaal om een situatie rustig te bekijken/inspecteren, om de weg te leren kennen en om een indruk te krijgen over de verhoudingen van een ruimte. Met video is de mate van immersie nog een stuk groter.
5.2 360 graden Video’s
Bij de meeste mensen is een achtbaanrit de eerste VR beleving. Hoe geweldig is het om even een achtbaanritje te maken vanuit je luie stoel. Het bestandsformaat van 360 video is oa. mp4, dus kan deze bewerkt worden met Quicktime, iMovies, Premiere etc. Vaak wordt er bij de camera ook een bewerkings software of app geleverd.
Rijd de Baron van de Efteling of andere achtbanen op YouTube.
Gebruik een 360 graden video is om de werking van een machine te laten zien, mensen uitleg te geven over een procedure of om mee te laten rijden met wat voor voertuig dan ook. Dankzij de goede compactcamera’s is alles mogelijk en voor iedereen bereikbaar.
Stereoscopische 360 graden videos
360 Graden foto’s en video’s zijn natuurlijk niet 3D, dus je kan niet echt door een ruimte bewegen. Door in te zoomen, krijg je als bezoeker wel een beetje een 3D gevoel, zeg maar 2.5D. Door op te nemen met een stereoscopische camera, kan er een meer 3D gevoel worden gecreëerd. Dit is een stuk complexer en kan alleen met camera’s met minimaal 6 lenzen. Ook het bewerken van de beelden achteraf is omslachtig. Het 3D effect is beperkt tot een straal van circa 10 meter om de camera. Bij objecten verder weg, ebt het stereoscopisch effect weg.
Het maken van een 360 graden stereoscopische video heeft vooral zin, als er mensen, dicht bij de camera acteren.
180 graden Video
Stereoscopische video met een kijkhoek van 180 graden kan soms een uitkomst zijn als volledig rondkijken niet nodig is. Bijvoorbeeld om een gesprek te oefenen. Het voordeel is dat de bezoeker nog steeds volledig gefocussed is op de beleving en de persoon voor zich in 3D ziet. Er kan wel wat bewogen worden dus dat geeft een natuurlijke beleving. Het verwerken is goed te doen omdat de gebruikte camera’s twee lenzen hebben, zoals deze Lenovo Mirage.
5.3 360 Graden Foto’s en video camera’s
Het maken van goede 360 graden beelden wordt steeds makkelijker en betaalbaarder. In onderstaande tabel zijn een aantal camera’s vergeleken. En eerlijk gezegd zijn er slechts twee merken die goede en ook betaalbare 360 graden camera’s op de markt brengen.
????? |
????? |
????? |
????? |
????? |
|
Afbeelding | |||||
Resolutie foto (px) | 6080×3040 | 6080×3040 | 5376×2688 | 7296×3798 | 7680×3840 |
Resolutie video (px) |
5730×2880 30fps |
5730×2880 30fps |
3840 x 1920 30 fps |
3648x 1824 30 fps |
3840×1920 30fps 7680×3840@30fps (8K) |
Livestream | Ja | Ja | Ja | Ja | Ja |
Waterdicht | Ja, met behuizing | Ja, met behuizing € 199 | Ja | Nee | |
Spatial audio | Nee | Nee | Ja, met extra audio module | Ja | Ja |
Stereoscopisch | Nee | Ja, 180 graden | Nee | Nee | Ja |
Prijs | € 570 | € 469 | € 399 | € 999 | € 3999 |
Voordelen |
Erg goede film kwaliteit Losse accu Losse memory card |
180 graden en 360 graden beeld |
Goede stitching Add-on microfoon € 269 |
Erg goede fotokwaliteit |
Resolutie Stereoscopisch |
Nadelen |
Foto kwaliteit wat minder Gebruiks- gemak software |
Gebruiks- gemak software |
Geen losse accu Geen losse memory card |
Video kwaliteit wat minder |
Professionele bewerkings- software nodig |
Insta360 heeft ook twee leuke instap camera’s, de ONE en GO en een professionele camera de Insta360 Pro2 van € 5599. De Vuze is een alternatief voor de Insta 360 EVO.
5.4 3D scènes voor VR en MR
Als een omgeving nog niet bestaat, of als er een droomwereld moet worden gepresenteerd, dan is er een 3 dimensionale CAD (Computer Aided Design) omgeving nodig. Om een CAD wereld te maken is ontwerp- of game software nodig. Hoewel het maken van 3D moeilijk lijkt, baart oefening kunst en worden bijvoorbeeld in Minecraft hele werelden gebouwd.
Low Poly 3D scenes
De oplossing om veel 3D objecten te kunnen laten zien in XR heet Low Poly. Door het contrast te verlagen, worden de bestanden kleiner, waardoor deze sneller laadt en niet gaat schokken bij het rondkijken. Het beeld wordt wel abstracter, waardoor een meer cartoonachtige omgeving ontstaat. Goed toegepast kan dit een goede XR beleving geven. Om 3D files kleiner te maken is er ook een nieuw 3D bestandstype ontwikkeld, gltf.
High poly 3D scenes
De meest gebruikte toepassing is het maken van een ruimte gemaakt met bouwkundige CAD software. De meeste CAD programma’s hebben wel een VR app, waarop de beelden in een VR bril bekeken kunnen worden. Ook is er een export te maken van een 360 graden foto of video. Omdat CAD software ook veel informatie opslaat die je niet ziet, en er veel polygonen gebruikt worden zijn deze bestanden vaak te groot voor VR. Polygonen zijn het aantal lijnen/hoeken die een model heeft. Hoe meer polygonen, hoe meer detail en hoe zwaarder het bestand. Bij headsets, die verbonden zijn aan een PC is dit natuurlijk geen probleem. Bestandstypen zijn vaak .obj of .fbx.
3D rondrit
Als er een 3D omgeving gemaakt is, kan deze worden gebruikt als achtergrond. Wanneer de wereld groter is, kan er ook een 360 graden film gerenderd worden. Op deze manier kun je rondkijken in een virtuele rondreis en is een 3D wereld te bezoeken met eenvoudigere VR headsets, zonder controllers. De film kan ook gepubliceerd worden op YouTube, Facebook, Vimeo etc. Het maken van een virtuele wereld kost wel al snel tienduizenden euro’s.
3D werelden
Nu room-scale VR headsets, waar je vrij mee kunt bewegen betaalbaar zijn geworden, is het natuurlijk geweldig om hele werelden te ontdekken. Teleporteer naar, waar je maar wilt over Aarde of andere planeten. No Mans Sky is een voorbeeld van een open wereld spel. In het spel kan je oneindig nieuwe werelden en leefvormen ontdekken. In het begin was het oneindige ook een gebrek, omdat spelers elkaar niet tegen kwamen. Let wel dat zo’n virtuele wereld gemaakt is door een team van tientallen ontwerpers die er jaren over gedaan hebben. Gelukkig kan dat ook anders.
De planeet Aarde in 3D
Dichter bij huis heeft Google een groot deel van de wereld vastgelegd in 3D. Google heeft 99% (zeggen ze) van de wereld ingescand met Streetview beelden en satellietgegevens en zo een 3D kaart van de wereld gemaakt. Via het Google Maps Platform kunnen deze gegevens worden ingeladen in de VR-software Unity. Ook ArcGis biedt 3D kaarten van de wereld aan. Deze 3D kaarten zijn gemaakt door beeldmateriaal van camera’s te combineren met laserscans. Bezoek de aarde in 3D met de Google Earth VR app, helaas alleen voor de Oculus Rift en HTC Vive.
3D omgevingsscan, Photogrammetry
Wat Google kan, kunnen meer bedrijven. Het 3D scannen gaat met een LIDAR laser en Cyclopedia is de Nederlandse Google Streetview op dit gebied. Het scannen van grote terreinen kan met een auto of een drone waar een scanner is bevestigd. Ook is het mogelijk om een moderne smartphone te gebruiken, zoals te lezen is in deze blogpost. Foto van RealityCapture
5.5 3D objecten voor AR, VR en MR
Waar 3D werelden vooral nodig zijn voor VR/MR belevingen is met AR de wereld je canvas. In AR heb je alleen virtuele objecten nodig. Natuurlijk kunnen er ook tekst, afbeeldingen etc worden toegevoegd, alleen om een XR beleving te laten aansluiten bij de werkelijkheid zijn 3D objecten meer voor de hand liggend. Computers kunnen alleen rechte lijnen maken, dus ronde vormen worden gemaakt door samengestelde kleine driehoekjes genaamd polygonen.
Low Poly 3D modellen
Low Poly modellen zijn ideaal om te gebruiken in XR omdat de bestandsgrootte beperkt is. Door snellere internetverbindingen en krachtige smartphones en headsets, zal de mate van detail die steeds hoger worden.
High Poly 3D modellen
Deze voorwerpen zijn fotorealistisch gemaakt. Door schaduw en weerkaatsing toe toe voegen zijn deze objecten niet meer van echt te onderscheiden. Deze techniek heet Physically Based Rendering BPR. Op Sketchfab zijn veel 3D modellen beschikbaar, al dan niet betaald, zoals deze Porsche.
3D objectscan | Photogrammetry
Als je toch een Porsche voor de deur hebt staan, kan je ook objecten scannen met Trnio (iPhone) of scann3d (Android). De scan kan geëxporteerd worden als obj en gebruikt worden in XR, zoals te lezen is op Sculpteo.com. Zo kan je je eigen gezicht als buste gebruiken, mocht je dat willen.
3D animaties
Als alles toch 3D is, kan je een object net zo goed laten bewegen. De beweging kan door de ruimte zijn, of zelf bewegen, zoals deze GIF. Om een figuur te laten bewegen worden er virtuele gewrichten en draaipunten toegevoegd. Het model beweegt dan via deze gewrichten. Zo gaan wielen draaien, benen bewegen en dit kan net zo goed gebruikt worden voor het laten bewegen van een robotarm. FBX en COLLADA 3D bestandstypen zijn geschikt voor animatie.
3D videoscan | Volumetric Capturing
Het animeren van mensen is met een computer veel werk. Met een volumetric video maak je een 3D bewegend beeld. De objecten, vaak mensen, worden met 32 camera’s gefilmd in een ronde greenscreen en zo wordt de 3D animatie opgebouwd. De 3D video kan in XR worden afgespeeld. De benodigde 4DRStudios staat in Eindhoven.
5.6 3D Scanners
Het scannen van objecten en ruimtes is een efficiënte manier om een XR beleving te maken. Het maken van gedetailleerde CAD beelden, is erg arbeidsintensief en daardoor duur. Kijk maar eens om je heen en kijk op details in een houten tafelblad, bekleding van een bank of planten. Hier komt het scannen om de hoek kijken. Er zijn een viertal technieken beschikbaar, die al dan niet gecombineerd een 3D scan kunnen maken van object of ruimte:
- Lidar, deze lasertechniek meet via laser-pulsen. Dit kan op grote afstand (inscannen maan) tot hoge detaillering (inscannen gezicht).
- Infrarood, hier wordt een lijn van licht op een object geprojecteerd en de afwijkingen van de lijn worden gemeten. Infrarood scannen wordt ook gebruikt om een schilderij door te lichten en verborgen lagen zichtbaar te maken.
- Foto Scanning, Photogrammetry, door vanuit verschillende hoeken, foto’s te maken wordt een 3D beeld berekend. Dit kan alleen met stilstaande objecten
- Video scanning, Videogrammetry, door met meerdere camera’s een bewegend object te filmen, kan hiervan een bewegend 3D model gegenereerd worden. Hiervoor is en een opstelling met 32 camera’s, een rondom greenscreen en geavanceerde verwerkingssoftware nodig.
Infrarood | Photogrammetry | Lidar | Videogrammetry | |
Voordelen | Goedkoop |
Eenvoudig en goede techniek Ook mogelijk met smartphone/tablet |
Hoge nauwkeurigheid | Vastleggen beweging in 3D |
Nadelen | Geen hoge kwaliteit | Voor grote objecten is een camera met hoge resolutie nodig. | Duur, want laser nodig | Duur vanwege apparatuur. |
Scannen objecten |
iPad Pro 2020 (€ 1298) |
|||
Scannen ruimtes | iPad Pro 2020 | |||
Scannen omgevingen |
Scanners zijn er in alle soorten en maten, van een gratis app tot een Lidar scanner om omgevingen vast te leggen van zestienduizend euro. Sommige oplossingen komen samen met een softwareplatform. Hieronder is een overzicht gemaakt van aantal veel gebruikte scanners.
3D Systems Sense 2 | Structure Sensor | iPad Pro 2 | Matterport | Leica BK360 | |
Afbeelding | |||||
Techniek | Photo- grammetry | Photo- grammetry | Lidar | Photo- grammetry | Lidar |
Gebruik | Objecten tot 1m | Objecten en kleine ruimten | Objecten tot 5 m | Grote objecten en ruimtes | Grote ruimtes en buiten |
Prijs | € 450 | € 527 | € 899 | € 3200 | € 16000 |
Voordelen | Handzaam | Goed en handzaam | Ook een tablet | Mooie resultaten | Nauwkeurig scannen buiten |
Nadelen | Alleen scannen kleine objecten | Werkt alleen met tablet | Scan tot 5 m | Bijbehorend software platform nodig | Prijs |
5.7 XR user interface (UI) en experience (UX)
Zijn we eindelijk gewend aan touchscreens, in met een XR bril op kan je niet meer bij het scherm, dus zijn er nieuwe manieren nodig om de interactie aan te gaan. Bij AR kan je nog gewoon bij het scherm, dus kan er meer geleund worden op bestaande UIs.
Google voegt virtuele gidsen toe aan Maps via AR. Natuurlijk kunnen er gewoon pop-ups, knoppen e.d worden toegevoegd aan XR, alleen waarom zou je dit doen. XR is een 3D is medium, dus gebruik het dan ook zo. Bedienen wordt meer besturen en dat is voor sommigen in de echte wereld al moeilijk genoeg.
Met XR zijn we niet meer gebonden aan de beperkingen van een scherm. Het ontwerp van de UI gaat zodoende van grafisch naar ruimtelijk ontwerp. De gebruiker heeft de vrijheid, dus hoe zorg je ervoor dat de boodschap wordt gezien en hoe raakt iemand niet van het padje af.
Focus vrijheid
Met een XR bril op, kijk je als met een verrekijker, dit betekent dat je rekening moet houden wat comfortabel is voor de bezoeker. Het blikveld wordt gedeeltelijk beperkt door de bewegingsvrijheid van de gebruiker.
Logischerwijs is het midden van het blikveld de plek waar de meeste aandacht naar uit gaat. En zo ziet dit er uit in beeld.
https://developers.google.com/
Uiteraard kan de bezoeker bewegen en verplaatst het focusgebied.
Afstand
Objecten kunnen dichter of verder weg worden geplaatst. Alles binnen een halve meter, is de voorgrond en binnen reikwijdte. Tot 15 meter neem je meer detaillering waar. Dit is ook de grens dat je in de echte wereld echt 3D ziet. Alles verder dan 20 meter is de achtergrond en wordt in 2D waargenomen.
Let op dat iets 2 keer zo ver weg, ook twee keer zo groot moet worden om even groot te lijken.
Tekst
Tekst is lastiger leesbaar in een headset. Gebruik dus geen grote lappen tekst, maar kies bijvoorbeeld voor een voice-over of een filmpje. Leesbare tekst die verder weg staat, dient dus ook groter te worden. Test dit altijd goed met een XR bril op.
Gaze-control | Kijk en activeer met XR bril op
De meest eenvoudige manier van UI met een XR bril is met gaze control, interactie door te focussen. In het midden van het scherm zit een cursor, die hotspots kan activeren door er naar te kijken.
Navigatie | Hotspots
Deze cursor wordt ook gebruikt om gedrag in XR te meten. Door te kijken naar een hotspot kan genavigeerd worden.
Navigatie | WASD of cursor knoppen op laptop
WebXR projecten kunnen ook op de laptop bekeken worden. Uiteraard kan een muis of trackpad gebruikt worden om al slepend rond te kijken. Vaak zijn ook de WASD of de cursor pijltjes te gebruiken om rond te bewegen in de virtuele wereld.
Navigatie | Virtuele controllers op touchscreen
Op een touchscreen kunnen virtuele controllers te zien zijn, die gebruikt kunnen worden om te bewegen. In bijgevoegd voorbeeld kan het kleine blauwe bolletje bewogen worden en gaat de camera de betreffende kant op.
Navigatie | Checkpoints
Checkpoints zijn punten in de ruimte, waar je via Gaze-control naar toe kunt gaan. Checkpoints zijn een handige manier om te teleporteren in een 3D ruimte, wanneer je geen controller hebt. Het nadeel is dat de bezoeker alleen op de checkpoints kan gaan staan.
Navigatie | Teleporteren
Als naar een standpunt wilt gaan, die buiten je blikveld ligt, gebruik dan teleporteren. Via een link geef je aan naar welke omgeving je gaat. Zo sla je ook niet relevante tussenruimten over.
Navigatie |Plattegrond
Omdat er bij teleporteren geen visueel verband meer is tussen de ruimtes, kan een plattegrond op de grond helpen om de gebruiker te laten weten, waar men is in de XR beleving.
Navigatie | Guardian
Bij een 6DoF headset kan vrij bewogen worden en is de enige beperking de fysieke ruimte waar je in bent. Met een Guardian wordt het speelveld virtueel omkaderd, zodat je niet tegen objecten buiten het speelveld opbotst. Dit is uiteraard voor van toepassing in VR, omdat hier de werkelijke wereld niet zichtbaar is. Hieronder zie je de Guardian van de Oculus Quest.
Lichtzwaard | Lightsaber
Omdat in XR een controller elke vorm kan aannemen die men maar wilt, duurde het niet lang of het lichtzwaard werd werkelijkheid. De lightsaber komt terug in talloze spelen, van een officieel Star Wars spel to Beat Saber waar je blokken moet kapot slaan, op de maat van de muziek, met een lichtzwaard.
Handen als controllers
2020 Is het jaar dat de handen controllers worden in XR. Zowel de Oculus Quest als de Hololens ondersteunen deze functie en dit betekent veel hoe interactie gaat plaatsvinden in XR. Zo kan je een toetsenbord projecten in XR, alleen is dat wel erg oude wijn in nieuwe zakken. Grijpen, reiken en aanwijzen zijn natuurlijke en universele bewegingen alleen hoe ga je met je handen navigeren?
Virtuele tatoeages
Omdat je je handen altijd bij je hebt, maakt het gebruik van virtuele tatoeages een geheel nieuwe manier van besturing mogelijk. Of je nu een virtueel toetsenbord of joystick projecteert op arm of hand, of je arm een drager maakt van verschillende armbanden. De mogelijkheden zijn echt legio. Het even geduurd voordat de “Hamburger-menu ?” universeel werd. Door de enorme vrijheid in XR zal een nieuwe universele taal bedacht worden. Een mix van gebaren, verkeersborden en pop-ups zal straks onderdeel worden van onze XR wereld. Zoals dit concept van Leapmotion hieronder.
Geluid | Vergeten prikkel
Waar geluid op websites soms als hinderlijk worden ervaren is geluid in XR een essentieel en vaak vergeten prikkel. Geluid kan als achtergrond gebruikt worden als sfeermaker of het versterken van effecten. Je hoeft alleen maar water te horen en je denkt aan regen. Plaats ruimte om mensen te gidsen en toelichting te geven over de gekozen kijkrichting. Plaats geluid bij objecten om aanvullende info te geven. Geluid kan in de ruimte geplaatst worden. Je kijkt naar het raam en hoort de vogeltjes fluiten.
3D geluid
Geluid komt van verschillende kanten. In de echte wereld gebeurt dit automatisch omdat de geluidsbron ergens staat ten opzichte van de oren van de bezoeker. Daarnaast weerkaatst geluid via wanden, vloeren en objecten. Ook klinkt geluid anders, afhankelijk van de kijk (oor) richting van de bezoeker.
Bron: Google.com/vr
Ruimtelijk geluid (Spatial Audio) maakt een VR beleving nog krachtiger en kan gebruikt worden om mensen te sturen of te begeleiden. Het formaat wat gebruikt wordt voor ruimtelijk geluid heet Ambisonics.
Virtuele Gids
Er was een tijd dat Clippy ons hielp bij het gebruiken van Microsoft Word. Deze springerige paperclip kwam met tips en tricks. In een complexe virtuele beleving, kan een gids helpen met keuzes en vraagstukken. Hoe zou Siri er eigenlijk uit zien?
Wil je meer leren over het ontwerpen voor XR, bekijk deze goede lijst op uxofvr.com
5.8 Avatars
Niet alleen gidsen zijn zichtbaar in XR. Een avatar is in het Hindoeïsme een verschijning van een bepaalde godheid. In XR is het minder verheven. Wanneer meerdere mensen tegelijk een ruimte bezoeken, zijn deze zichtbaar via een avatar. Het meest simpele is om te laten zien in welke richting iedereen kijkt. Als een gebruiker controllers heeft, kun je die bewegingen ook laten zien. Avatars kunnen ook een grafische weergave zijn van een persoon, zoals Facebook dat doet in hun Places. Met Pinscreen maak je van een foto een 3D avatar, en zo zijn er veel meer diensten.
Door de mond te laten bewegen als er wat gezegd wordt en met eyetracking de ogen te projecteren in XR, gaan Avatars er stap voor stap steeds realistischer uit zien. Vaak biedt een platform eigen tools om de avatar aan te passen.
5.9 Effecten
In de werkelijke wereld veranderen de omstandigheden continu. Veranderend licht, neerslag, rook of duisternis beïnvloeden ons zicht. Door dit toe te voegen aan XR, maakt een beleving nog echter.
Zaklamp
Een ontruimingsoefening wordt een stuk moeilijker als je kunt rondkijken alsof je alleen licht van een zaklamp hebt.
Neerslag of rook
Versterk een buitengevoel en laat het regen. Maak een gevaarlijke situatie nog spannender door de ruimte te laten vullen met rook. Op deze manier kunnen oefeningen ook moeilijker gemaakt worden, afhankelijk van het niveau van de trainee.
Verborgen elementen
Je kan een 360 graden zoekplaatje maken en gevaarlijke situaties of Waldo laten zoeken. Ook kan je pop-ups pas op laten komen als er bijvoorbeeld naar het gestreepte gebouw wordt gekeken. De track-area/trigger zie je niet, dus je moet dan goed kijken om een opdracht te volbrengen.
Een hotspot plaatsen boven of onder het normale blikveld, dwingt mensen ook om goed rond te kijken. Of plaats een belangrijke link achter iemand. Zo weet je zeker dat ze eerst hebben rondgekeken, voordat ze verder gaan.
Timing elementen
Toon objecten pas na een bepaalde tijd, bijvoorbeeld de link naar een volgende scène. Zo dwing je bezoekers eerst een tijdje de situatie te bestuderen. Zo kan je ook elementen weer laten verdwijnen na een bepaalde tijd, of gedeelten van de omgeving afdekken. Zo maak je een speurtocht moeilijker.
Regels
If-this-then-that, zijn de meest basale regels die van een XR omgeving een escaperoom kunnen maken. Stel je geeft een verkeerd antwoord, dan ga je een stap terug. Geef een antwoord een bepaalde score en toon nieuwe opties pas als er een bepaalde score behaald is. Geef je een goed antwoord dan ga je een stap of ruimte vooruit. IFTTT.com is er groot mee geworden. Natuurlijk kunnen regels geprogrammeerd worden. Blockly is een eenvoudige manier om regels op te bouwen.
XR content is te verrijken met allerlei soorten effecten en regels waardoor een situatie ook interessant blijft voor terugkerende bezoekers. Als je al zin hebt om aan de slag te gaan en er is al een XR bril beschikbaar, dan is er content nodig.
5.10 Verkrijgen XR content
XR content is in er in allerlei soorten en maten en de aanbieders van camera’s, scanners en 3D vormgevers zijn ontelbaar. De afgelopen jaren zijn een aantal oplossingen voorbij gekomen die de moeite waard waren. Per type content is zijn er vaak meerdere online marktplaatsen of publicatieplatformen. Een aantal soorten XR content zijn kinderlijk eenvoudig te maken.
360 graden scenes
Een goede 360 graden compactcamera heeft zichzelf snel terugverdiend en deze beelden zijn, met de camera op een statief goed te maken. 360 Graden foto’s kunnen ook worden toegevoegd aan de Google zoekresultaten, zodat je bezoekers direct kan laten rondkijken. De gemaakte videos kunnen ook naar YouTube of Vimeo.
Sketchfab
Sketchfab is een marktplaats met veel en verschillende typen XR content tegen betaalbare prijzen. Het is echt ongelofelijk wat hier allemaal te vinden is. Al is het maar om snel een prototype te maken.
Minecraft
Tijdens de Corona-uitbraak in 2020 hebben scholieren, gezamenlijk hun school nagebouwd in Minecraft. Een ideale manier om op afstand samen te werken en de modellen kunnen geëxporteerd worden voor verder gebruik in VR.
XR content maken in VR
Daarnaast zijn er een aantal tools om in VR 3D werelden te bouwen. Het geweldige is, dat je echt middenin je ontwerp staat
- Tilt Brush, Paint in 3D omgeving voor Rift en Vive
- Google Blocks, voor Rift en Vive, zie foto rechts
- Supercraft, werkt volledig via het web, ook op de Oculus Quest.
Dit vraagt wat oefening en is ook voor kunstenaars een nieuwe werkvorm. Ben je zelf iets minder creatief, in onderstaande tabel is een overzicht gemaakt van de mogelijkheden voor het verkrijgen van XR content.
Bestaande content | Zelf maken | Professional | |
360 graden foto |
Google streetview of deze tips Flickr equirectangular of Flickr 360 Shutterstock of |
Gebruik een 360 graden camera met een statief, zie paragraaf 5.5 |
Maak HD beelden voor inzoomen Google streetview fotograaf (€ 50-€ 75 /foto) |
360 graden video |
Gebruik een 360 graden camera met een statief, zie paragraaf 5.5 Zie ook 360 Video metadata tool en lees de tips op YouTube |
Maak stereoscopisch beeld voor nog meer beleving. Let wel dat het maken van zo’n video drie keer meer nabewerking vraagt. Neem audio apart op. |
|
Low Poly 3D scènes | 3D ontwerper | ||
High Poly 3D scènes | Sketch-up |
Unity of Unreal Engine of 3D studio max e.d. Laten maken 3D scene start vanaf € 3999 |
|
3D werelden/scan | Sketchfab | Structure | Matterport |
Low Poly 3D objecten | Google Poly | 3D ontwerper | |
High Poly 3D objecten | 3D studio max of Blender | ||
3D scan objecten | Sketchfab | ||
3D animaties | Sketchfab | Mixamo | |
3D videoscan | 4DRStudios | ||
Geluid | BBC Dbase |
Microfoon smartphone Facebook tool of met deze speciale microfoon van € 211, voor de Ricoh Theta V. |
Geluidstudio |
Vooral het 3D scannen zal de komende tijd een vlucht gaan nemen. Steeds meer smartphones hebben meerdere camera’s waardoor het vastleggen van een omgeving steeds makkelijker wordt. Content maakt nog geen XR beleving, net zoals opnames van verschillende scenes, nog geen film is.
5.11 Hardware en content mix
Content zijn de bouwblokken voor een XR beleving. En XR belevingen zijn er in verschillende typen. Van een instapmodel, tot een sportauto, alles is mogelijk bij een auto en dat is bij XR hetzelfde. Als je rond kunt kijken in een omgeving, dan is het logisch dat je ook verder wilt kijken. Een 3D object in de browser is gaaf, alleen het effect wordt groter als je iets over het model kunt leren. Een 360 graden foto geeft een goed beeld van een ruimte, en je leert pas de weg als je door verschillende ruimtes kunt bewegen. Zoals bijvoorbeeld bij Google Streetview.
Door interactie toe te voegen aan XR content, ontstaat er een XR beleving. En deze belevingen kunnen op een breed scala aan apparaten bekeken worden.
Magic Window of VR-view met 360 graden beelden
Iedereen kent wel Google streetview. Door de muis te slepen of de tablet/smartphone te bewegen, kan er rondgekeken worden. Het rondkijken door te bewegen is mogelijk wanneer een apparaat een gyroscoop heeft. De meeste moderne smartphones en zelfs tablets hebben deze. Kijk voor een overzicht van de smartphones met een gyroscoop hier.
In Magic Window view wordt naar het scherm gekeken, zonder VR bril, en is door de muis of bewegen van het apparaat de volledige omgeving te zien. Deze stand is ook ideaal om een VR beleving te tonen voor een klas. De beleving en diepte ervaring is een stuk lager, omdat de werkelijkheid nog goed zichtbaar is.
Met een VR bril op is men volledig afgezonderd van de werkelijke wereld en kan men ook echt 3D zien. Dit geeft veel meer de beleving van echtheid dan kijken naar een scherm.
Magic Window en VR-view voor gebruik alle beeldschermen vrmaster.vrdeck.co/welcome.
AR beleven met 3D animatie
De meeste voorbeelden van AR worden bezocht met een tablet of smartphone, al is het alleen al vanwege het feit dat bijna iedereen die tot zijn beschikking heeft. Het inzetten van AR kan heel eenvoudig, zoals Google doet door AR beelden toe te voegen aan de zoekresultaten, tot complex zoals het eerder genoemde opmeten van een trap mbv AR.
Voorbeeld tonen 3D animatie in AR, in de zoekresultaten van Google.
AR beleven met MR bril of smartglasses
Het uitvoeren van instructies of het oefenen van handelingen gaat natuurlijk lastig als je een tablet vast hebt. Met een speciale bril op, heb je de handen vrij en kan je ook diepte zien. Bij smartglasses is het scherm (nog) klein en vooral geschikt voor het toevoegen van korte instructies. Dit is natuurlijk ideaal voor on-the-job-training door afbeeldingen en tekst toe te voegen.
MR brillen zijn er in twee categorieën de MR brillen met holografische projectie zoals de Hololens en VR/MR brillen waar je via camera’s de echte wereld kunt zien. De Hololens 2 van Microsoft is op dit moment de meest geavanceerde bril op de markt en laat zien dat je echt de interactie aan kunt met 3D objecten.
De MR brillen, die verbonden zijn met een PC, zijn aan het einde van hun (korte) lifecycle. Mijn verwachting voor 2021 is dat stand-alone VR brillen betere see-through cameras krijgen en smartglasses schermvullende projecties en 3D kunnen tonen. Dus dan wordt onderstaande mogelijkheden die nu met de Hololens 2 kunnen, beschikbaar voor betaalbare brillen.
Interactieve VR tour met 360 beelden en 3D objecten
De eerste reactie die veel mensen hebben is om te gaan lopen in VR, dit kan (meestal) niet alleen, omdat er in de werkelijke wereld obstakels en (trap-) gaten zijn, die niet in VR terugkomen. Wel kunnen er hotspots worden toegevoegd om naar een ander standpunt te gaan, of kan via de controller door de wereld bewogen worden. Voeg hotspots toe voor interactie, informatie en navigatie. Let op dat het gebruik van 360 graden video en 3D objecten minder geschikt is voor smartphones en tablets. Zeker in VR vraagt dit veel rekenkracht en is een duurdere en meer recente smartphone nodig.
Interactie met 3D objecten
Om interactie te hebben met 3D objecten is er minimaal een 3 DoF controller nodig. Dit geeft al wat gestuntel, en de beste ervaring voor interactie met 3D objecten is met 6 DoF controllers of handtracking. Zeker met gebruik van je handen, is het oppakken van objecten zo natuurlijk dat dit niet alleen kan worden ingezet voor technische training maar zeker ook voor therapie en revalidatie.
3D XR belevingen
Met 3D belevingen wordt het maximale benut van de techniek omdat elke computerwereld bezocht kan worden. Loop door een fantasiewereld en voer opdrachten uit in een spel of bezoek een gebouw en beoordeel de inrichting, voordat deze gebouwd is. Ook kan ene bestand gebouw ingescand worden, voor een virtuele rondleiding of ontruimingsoefening. Dit soort belevingen komen het best tot zijn recht met een 6DoF bril, omdat je dan als gebruiker de vrijheid hebt om rond te lopen. Toch kan je zo’n omgeving ook bekijken op de laptop, met gebruik makend van cursor.
Er zijn dus verschillende combinaties mogelijk met de verschillende soorten content en hardware.
Bekijk het door de juiste bril
Niet elke content is geschikt om af te spelen op elke VR bril. De rekenkracht en schermresolutie zijn belangrijke voorwaarden om VR goed te beleven.
* Met een VR bril met smartphone is er geen invloed op welke telefoon gebruikt wordt. En omdat er grote verschillen tussen een apparaat van 3 jaar terug en nu, kan het zijn dat sommige functies niet goed werken. iPhone gaat weer anders om met XR in het algemeen en geluid en video in het bijzonder, dan Android. Wil je een XR beleving op elk apparaat kunnen zien, kies dan voor 360 graden foto’s.
** Er zijn twee soorten MR brillen, de brillen met holografische projectie (Hololens) en brillen met see-through techniek (Samsung Odyssey). Uiteraard is deze laatste ook goed geschikt voor VR.
5.12 Maken XR beleving (DIY)
Het maken van 360 graden foto’s kan zelfs met een telefoon, alleen gaat het met een compact camera een stuk eenvoudiger. Voordeel is dat zo’n camera ook video kan schieten. Alleen heb je nog geen interactie. Hiervoor zijn een aantal eenvoudige editors en tour creators beschikbaar. Het is belangrijk om te beginnen met een script en stel je de volgende vragen:
- Wie is de doelgroep?
- Wat is de boodschap?
- Welke effect moet er bereikt worden?
- Wat is de call-to-action?
Maak gebruik van onderstaande template of gebruik van templates op bijvoorbeeld https://miro.com/.
360 graden foto tour
Het maken van een 360 graden foto tour gaat het meest eenvoudig met de Google Tour creator. Het grote voordeel is dat je zowel je eigen foto’s of Google Streetview foto’s kunt gebruiken. Ook kunnen de tours rechtstreeks in de browser bekeken worden.
Google heeft een uitgebreide handleiding gemaakt.
360 graden foto en video tour
Wil je meer functies en ook 360 graden video gebruiken, kijk dan eens naar Fectar (bekijken via app) of VRdeck (volledig web-based).
Met deze platformen zijn de mogelijkheden echt enorm. Heb je basiskennis HTML, kijk dan eens naar deze Aframe VR tutorial en pas een scene aan via de inspector.
Maken 3D scene
Het kan zijn dat je een concept wil laten zien van een niet bestaande ruimte. Kijk dan eens naar de handige editor Mozilla Spokes. Hier kan je in een mum van tijd een 3D wereld maken.
AR toepassing
Fectar en VRdeck zijn ook te gebruiken voor het maken van een AR toepassing. Ook 8th Wall of Zap.works (beide betaald) of gebruik Plugxr 30 dagen gratis. Zo kan je snel een prototype testen en verder ontwikkelen.
Heb je basiskennis HTML, kijk dan eens naar deze Aframe tutorial en pas een scene aan via de inspector.
XR game
Met Co-spaces kan zelfs een 3D interactieve game maken en kan je aan de slag met VR/AR en de Merge Cube.
Heb je basiskennis HTML, kijk dan eens naar deze Aframe AR tutorial.