Bli kjent med mulighetene som finnes i Mixed Reality verden – med vår nye robot

Jeg er en kranrobot og jeg elsker å plassere metallkuler i de fargekodede koppene. Selv om dette høres enkelt ut er jeg her for å vise deg alle de fantastiske *Bop Bap Bip* mulighetene som finnes i Mixed Reality verden». 

Foran oss står det en maskin som minner mest om et arkadespill fra 80-tallet. På frontpanelet er det en rekke fargede knapper og lys, og fire kopper i ulike farger står pent plassert bak det. En robotarm jobber utrettelig med å plukke opp stålkuler og slippe dem i en av de fire koppene. Bouvet-logoen lyser opp mot den grå bakgrunnen. Maskinen har ikke en stor skjerm på seg, men klarer allikevel å kommunisere med oss.

RoboLens er nemlig Bouvet Øst sin første HoloLens demo! Roboten er laget i labben, vårt eget "makerspace". 

Slik kom RoboLens til live

Da vi startet med å utvikle demoen, ønsket vi å lage noe som viste muligheten ved HoloLens. For å gjøre dette måtte vi lage noe både vi og HoloLens kunne interagere med. Dette resulterte i RoboLens, en fysisk robot som du kan bli enda bedre kjent med gjennom bruk av HoloLens.

Roboten ble først tegnet opp og 3D-modellert. Deretter 3D-printet vi deler og byggingen ble satt i gang. Videre ble det skissert og utviklet en tilstandsmaskin for å kunne styre roboten. Dette ble kodet på en rekke mikrokontrollere, som kommuniserte med hverandre over en I2C buss.

Slik kommuniserer RoboLens med HoloLens

Videre måtte vi finne en løsning for hvordan roboten kunne kommunisere med HoloLens. Det naturlige valget var trådløs kommunikasjon over WiFi, derfor ble det brukt en ESP32 mikrokontroller med innebygd WiFi i roboten. Gjennom MQTT kommuniserer vi med Azure IoT Hub, og gjennom stateless Azure Functions til HoloLens.

Da roboten var klar og vi hadde kommunikasjon på plass, gikk vi gang med å utvikle HoloLens-appen.

For oss var det viktig å implementere følgende features:

• Objekt gjenkjenning og sporing
• Overlays​
• Status og informasjon​
• Meny-system​
• Digital tvilling​
• Tutorial​ / Guide
• Fikse modus​ (Mini “Connected Technician”)
• Cable Tracing

I utviklingen av HoloLens-appen brukte vi Unity. I kombinasjon med Unity benyttet vi oss av Microsoft Mixed Reality Toolkit, som er en samling med UI-objekter, scripts og innstillinger som lettere lar deg akselerere utviklingen av MR-applikasjoner. Vi benyttet også Vuforia sitt AR SDK for å enklere drive tracking og gjenkjenning av roboten ved bruk av datasyn.

Resultatet: 

Vi har nå en robot som i seg selv kan plukke opp stålkuler og plassere dem i ønsket farget kopp, men ved hjelp av MR og HoloLens blir denne enkle maskinen mer avansert.

Gjennom å bruke HoloLens har vi nå:

• Mer informasjon om status og funksjonalitet på roboten
• Mulighet til å styre roboten ved å klikke på knapper i MR
• En «feature» som guider brukeren gjennom bruken av roboten
• En «feature» hvor brukeren må inn i et elektronikkskap og ved hjelp av HoloLens fikser roboten når den er «ødelagt». 

Hvorfor lager vi dette?

Bouvet er i dag Mixed Reality Partner med Microsoft, og vi ønsket å bruke labben til å øke kompetansen vår på MR. Samtidig er det viktig for oss å kunne utfordre og inspirere kunden til å tenke på ny teknologi og vise dem mulighetsrommet innen disse. Og det er kanskje nettopp det som har vært det morsomste med dette prosjektet, det å kunne få lære om, vise kompetansen og kombinere flere ulike teknologier som blant annet hardware, IoT og MR.

RoboLens var også representert under inspirasjonskvelden med Cappelen Damm. Les mer her.

Etter å ha jobbet med HoloLens en liten stund nå, ser vi at mulighetsrommet for VR/AR/MR og spesielt interaksjonen mot den virkelige verden i MR vil være med på å prege samfunnet i stor grad i fremtiden. Opplæring, spill, funksjonelle mockups og fjernarbeid er bare noen få eksempler på oppgaver hvor MR vil sette sine spor, og med Industri 4.0 vil MR bli en viktig rolle innen fremtidens ulike industrier.  

Om HoloLens

HoloLens er en mixed reality (MR) smartbrille utviklet av Microsoft. Mixed Reality minner mest om Augumented Reality (AR) som også er tett beslektet med Virtual Reality (VR). Til forskjell fra AR, hvor den digitale verden, i form av hologrammer, lever i den virkelige verden, er MR begrepet som brukes når hologrammene interagerer med den virkelige verden. Dette gjør HoloLens ved bruk av to display foran øynene, som også slipper gjennom lys, samtidig benytter den seg av fem kamera til å kartlegge verden rundt.

Les mer om hvordan Bouvet jobber med MR her