Spatial Computing förenar den digitala och verkliga världen

Framsteg inom Augmented Reality erbjuder ett användargränssnitt för Spatial Computing som både förstärker verkligheten med ett matchande lager av digitalt innehåll och kan användas med allt från vanliga smartphones och surfplattor till headsets som HoloLens. Foto: Microsoft

Text: Alarik Haglund

Det begrepp som kallas för Spatial Computing syftar på hur framsteg inom teknik för bland annat artificiell intelligens, sensorer, Internet of Things och Augmented Reality gör det möjligt att skapa och interagera med en detaljerad digital kopia av ett verkligt föremål eller en verklig miljö. Den digitala och fysiska världen smälter därmed samman på ett sätt som öppnar upp en rad möjligheter, från självkörande fordon till att optimera framtidens fabriker.

Begreppet Spatial Computing myntades redan 2003 av Simon Greenwold vid MIT Media Lab i USA. Han såg det som ett viktigt steg för att förbättra samarbetet mellan människa och maskin och definierade det som mänsklig interaktion med en maskin där maskinen behåller och manipulerar referenser till verkliga föremål och utrymmen.

Den teknik som inryms i begreppet tillhör en rad olika områden, som artificiell intelligens, sensorer, Internet of Things och Augmented Reality. Tillsamman har de framsteg som gjorts inom dessa områden bidragit till att göra Spatial Computing till verklighet. Med andra ord har det traditionella sättet att använda datorer utökats med data om hur maskiners, föremåls, personers och miljöers positioner och rörelser förhåller sig till varandra i ett tredimensionellt rum. Det betyder till exempel att en självkörande bil kan veta sin exakta position och avståndet till de olika föremål som finns i bilens omgivning.

För samman maskiner och människor

De allra flesta har redan stött på exempel på Spatial Computing i vardagen, från robotdammsugare och robotgräsklippare till navigationsappar i telefonen, Instagram-filter och spel som Pokémon Go.  Det finns emellertid också gott om exempel på hur Spatial Computing kan utnyttjas för professionella tillämpningar inom bland annat forskning, sjukvård och industri.

PTC Media Lab i USA har tagit fram en samling verktyg med öppen källkod som låter företag utforska möjligheterna med Spatial Computing i sin verksamhet.

Valentin Heun, som leder arbetet vid PTC Media Lab, påpekar att dagens arbetsplatser blir mer och mer automatiserade och att maskiner och människor allt oftare jobbar sida vid sida. Genom att utnyttja förmågan hos Spatial Computing att föra samman den digitala och den fysiska världen tror han att maskinernas och människornas arbete kan synkroniseras för att förbättra arbetsflödet och produktiviteten.

Spatial Computing möjliggör emellertid inte bara ett närmare samarbete mellan maskiner och människor utan ger dem även fördelar var för sig, genom att hjälpa maskiner att navigera i vår värld och låta oss kliva in i den digitala världen.

 

bild
Genom att utnyttja GPS-data och data från kamera- och LiDAR-sensorer gör Spatial Computing det möjligt för självkörande fordon att hålla koll på såväl sin egen position som andra fordon, människor och annat i sin omgivning som hjälper dem att navigera i den verkliga världen. Foto: Ford

 

Två sidor av samma mynt

Förutom exempel från vardagen, som robotdammsugare och robotgräsklippare, är automatiserade lager ett exempel på hur Spatial Computing kan hjälpa maskiner att arbeta bättre i vår värld.

För att snabbt flytta varor och packa ordrar i ett automatiserat lager används självkörande truckar. Genom att utnyttja Spatial Computing kan truckarnas position i förhållande till varandra, de varor som ska flyttas och varornas destinationer användas för att få rätt varor till rätt plats på ett så effektivt sätt som möjligt.

Ett exempel på hur Spatial Computing kan göra det lättare för människor att interagera med digitala system är möjligheten att omprogrammera maskiner i realtid.

Att omprogrammera maskiner eller robotar för en ny arbetsuppgift kan vara ett tidsödande arbete som kräver specialkunskap inom programmering. Med hjälp av verktyg för Spatial Computing är det emellertid möjligt för en mänsklig operatör att förstå, styra och planera en maskins rörelser på ett enkelt och visuellt sätt, vilket innebär att arbetet kan göras på kortare tid och utan kunskap om komplexa programmeringsspråk.

Spatial Computing kan också användas som för att analysera och optimera arbetsflödet och personalstyrkans rörelser. Tack vare att det på så vis går att identifiera flaskhalsar lättare och med större precision än med manuella metoder skulle det kunna förbättra både arbetseffektiviteten, säkerheten och produktiviteten.

 

bild
Med hjälp av mjukvara från Brainlab i kombination med headsets från Magic Leap kan läkare se patientdata i 3D var som helst i rummet. Systemet låter också upp till fyra personer arbeta tillsammans i realtid, vare sig de befinner sig i samma rum eller inte. Foto: Magic Leap

 

Pusselbitarna faller på plats

En förutsättning för att vi ska kunna dra nytta av Spatial Computing är ett användargränssnitt som ger oss tillgång till digital information i vår verkliga omgivning, vilket är precis vad Augmented Reality erbjuder. Förutom att förstärka verkligheten med ett matchande lager av digitalt innehåll som visas i realtid kan tekniken dessutom användas med allt från vanliga smartphones och surfplattor till headsets som HoloLens, RealWear och Magic Leap 1. Även om Augmented Reality utgör ett idealt gränssnitt är det emellertid inte synonymt med Spatial Computing, eftersom Augmented Reality även kan användas utan data om positioner och inte heller är det enda användargränssnitt som kan utnyttjas inom Spatial Computing.

Andra viktiga bitar i pusslet är Internet of Things, som gör det möjligt att övervaka och styra uppkopplade maskiner, olika typer av sensorer, som samlar in den data som behövs för att verkliga föremål, personer eller miljöer ska kunna representeras digitalt, och artificiell intelligens för att analysera denna data.

När det gäller sensorer handlar det utöver vanliga kamerasensorer bland annat om så kallade LiDAR-sensorer. Dessa sensorer fungerar på ungefär samma sätt som radar, men mäter avstånd med hjälp av laser i stället för radiovågor. LiDAR-sensorer finns till exempel i självkörande bilar, men har också börjat användas i konsumentelektronik. Bland annat är Apples smartphones i iPhone 12 Pro-serien och de senaste iPad Pro-modellerna utrustade med LiDAR-sensorer för att ge enheterna bättre djupseende än vad som är möjligt med enbart kamerasensorer.

 

bild
Efter att tekniker med den komplicerade uppgiften att drar sladdar i Boeings flygplan fått tillgång till interaktiva kopplingsscheman, som med hjälp av Augmented Reality visas tredimensionellt i omgivningen, har produktiviteten ökat markant i företagets fabriker. Foto: Boeing

 

Underlättar operationer

Ett av de områden där Spatial Computing har börjat få fotfäste är inom sjukvården. Till exempel har forskare från University of Alberta i Kanada tagit fram en mjukvaruplattform som gör det möjligt att visa diagnostiska bilder, från till exempel datortomografi och magnetröntgen, direkt på en patientens kropp. Bilderna kan antingen visas med hjälp av en projektor eller headsets och rör sig så på ett sätt som följer patientens rörelser. Tack vare att tekniken låter läkarna se patientens inre anatomi, inklusive segmenterade bilder som till exempel visar bara lungorna, blodkärlen eller ryggraden, kan den underlätta vid såväl operationer som sjukgymnastik, utbildning och patientrådgivning.  

Det amerikanska företaget Magic Leap, som 2018 släppte headsetet Magic Leap 1, satsar också tillsammans med det tyska företaget Brainlab, som inriktar sig på medicinsk teknik, på att införliva Spatial Computing inom sjukvården.

Redan idag används fler än 120 headsets från Magic Leap med mjukvara från Brainlab på sjukhus världen över. Genom att använda inbyggda sensorer för att digitalisera det rum man befinner sig i gör systemet det möjligt att frigöra patientdata från platta skärmar och i stället visa den i 3D var som helst i rummet. På så vis går det till exempel att förstora upp en patients anatomi och gå omkring runtom eller till och med inuti den. Det ger läkarna ett nytt perspektiv som bland annat visat sig vara värdefullt vid planering av exempelvis neurokirurgiska och kärlkirurgiska operationer.

- Vi har upptäckt att vi effektivt kan minska risken för komplikationer i samband med operationer i nästan alla fall, säger Veit Braun, som är läkare vid Jung-Stilling Hospital i Tyskland.

Han tillägger också att de genom att använda Brainlabs mjukvara i kombination med Magic Leaps headsets under planeringen kan minska operationstiden och den tid patienten måste vara sövd.

 

bild
Genom att göra det möjligt att skapa och interagera med en detaljerad digital kopia av ett verkligt föremål eller en verklig miljö för Spatial Computing samman den digitala och fysiska världen på ett sätt som öppnar upp en mängd möjligheter inom bland annat sjukvården och industrin. Foto: Microsoft

 

Lättillgängliga arbetsinstruktioner

Även inom industrin förekommer det en rad exempel på användningsområden där det redan idag går att se tydliga fördelar med Spatial Computing. Genom att bland annat leverera lättillgängliga arbetsinstruktioner och serviceinformation, utbilda personal och ge digitala produktupplevelser till kunder via Augmented Reality har industriföretag över hela världen kunnat öka arbetsstyrkans effektivitet och säkerhet, förbättra den operativa prestandan och sänka kostnaderna. PTC uppskattar att dessa företag förbättrat produktiviteten för nyanställda med upp till 40 procent, minskat utbildningskostnaderna med upp till 50 procent och kassations- och omarbetningskostnaderna med upp till 25 procent samt accelererat försäljningscykeln med upp till 30 procent.

Ett av dessa företag är Volvo Group, som strömlinjeformat kvalitetssäkringsprocesserna i sin motortillverkning genom att översätta digital information från Internet of Things och PLM-system till instruktioner som gör det möjligt för kvalitetssäkringstekniker att både snabbt och noggrant kontrollera de skräddarsydda motorer som rullar ut.

Ett annat exempel är det skotska ingenjörsföretaget Howden, som levererar lösningar för roterande utrustning. De har kraftigt minskat driftstoppen hos sina kunder genom att förvandla existerande 3D-modeller till arbetsinstruktioner som via HoloLens guidar kunderna steg för steg genom service och underhåll.

 

bild
Tack vare att de levererar lättillgängliga arbetsinstruktioner och serviceinformation, utbildar personal och ger digitala produktupplevelser till kunder via Augmented Reality har en mängd industriföretag över hela världen redan ökat arbetsstyrkans effektivitet och säkerhet, förbättrat den operativa prestandan och sänkt kostnaderna. Foto: PTC

Inget utrymme för misstag

När man bygger flygplan finns det inget utrymme för misstag. Hos Boeing i USA utnyttjar därför de tekniker som drar sladdarna i flygplanen Spatial Computing för att få tillgång till och interagera med tredimensionella kopplingsscheman via Augmented Reality.

- För en person som arbetar i en industriell miljö finns det många distraktioner i omgivningen och mycket data att tänka på och bearbeta. Tidigare var tekniker tvungna att titta på och tolka en tvådimensionell ritning som var sex meter lång och bygga upp den bilden i sitt huvud för att sedan försöka dra sladdar utifrån denna mentala modell. Genom att använda Augmented Reality-teknik kan teknikerna enkelt se vart de elektriska sladdarna ska sitta i flygplanskroppen. De kan röra sig runt flygplanet och se sladdarna återgivna i fullt djup i sin omgivning och komma åt instruktioner utan att använda händerna, säger Brian Laughlin från Boeing.

Detta har resulterat i att produktionstiden minskats med 25 procent och att antalet fel sänkts till nästan noll.

 

bild
Genom att använda Spatial Computing för att designa och testa produkter virtuellt kan eventuella problem upptäckas i ett tidigt skede, utan att man behöver bygga och testa dyra prototyper, samtidigt som designers från hela världen kan arbeta tillsamman i en digital miljö. Hos Ford har virtuell produktutveckling gjort att man kunnat korta ner processen från flera veckor till bara några timmar. Foto: Ford

 

Virtuell produktutveckling

Många företag har också börjat använda Spatial Computing i sin produktutveckling för att designa och testa sina produkter virtuellt. På så vis kan eventuella problem upptäckas i ett tidigt skede utan att man behöver bygga och testa dyra prototyper. Dessutom gör tekniken det möjligt för de som designar produkterna att arbeta tillsamman i en gemensam digital miljö oavsett var de befinner sig i världen.

Till exempel gör den amerikanska biltillverkaren Fords samarbete med europeiska Gravity Sketch att designers från Fords fem designstudior i olika delar av världen kan samarbeta i realtid med hjälp av Virtual Reality-headsets för att skapa och utvärdera fordonsdesigner som sätter människan i fokus.

- Funktionen för samskapande lägger till fler röster till konversationen i en virtuell miljö, vilket resulterar i ett mer effektivt designarbete som kan hjälpa till att påskynda utvecklingen av ett fordonsprogram, säger Michael Smith från Ford.

Genom att göra utvecklingsprocessen virtuell kan företagets designers även helt hoppa över 2D-stadiet av processen och redan från början arbeta med en 3D-modell. På det hela taget gör det enligt Ford att processen i stället för att ta flera veckor kan kortas ner till bara några timmar.