Il nuovo sistema di realtà aumentata consente agli utenti di smartphone di mettersi in contatto con oggetti virtuali

Tempo di lettura: 4 minuti

Sviluppato alla Brown University, un nuovo sistema di realtà aumentata posiziona oggetti virtuali all’interno di sfondi del mondo reale sugli schermi dei telefoni cellulari e consente alle persone di interagire con tali oggetti come se fossero davvero lì.

Un nuovo sistema software sviluppato dai ricercatori della Brown University trasforma i telefoni cellulari in portali di realtà aumentata, consentendo agli utenti di posizionare blocchi virtuali, mobili e altri oggetti in fondali del mondo reale e usare le mani per manipolarli  come se fossero davvero lì.

Gli sviluppatori sperano che il nuovo sistema, chiamato Portal-ble, possa essere uno strumento per artisti, designer, sviluppatori di giochi e altri per sperimentare la realtà aumentata (AR). Il team presenterà i lavori alla fine di questo mese al simposio ACM sul software e la tecnologia dell’interfaccia utente (UIST 2019) a New Orleans. Il codice sorgente di Andriod è disponibile gratuitamente per il download sul sito Web dei ricercatori e presto seguirà il codice iPhone.

“L’AR sarà una nuova modalità di interazione”, ha dichiarato Jeff Huang, assistente professore di informatica presso Brown, che ha sviluppato il sistema con i suoi studenti. “Volevamo creare qualcosa che rendesse la AR portatile in modo che le persone potessero usarla ovunque senza cuffie ingombranti. Volevamo anche che le persone potessero interagire con il mondo virtuale in modo naturale usando le loro mani. ”

Video Youtube ↓

Huang ha affermato che l’idea dell’interazione “pratica” di Portal-ble nasce da una certa frustrazione per le app di AR come Pokemon GO. Le app AR utilizzano gli smartphone per posizionare oggetti virtuali (come i personaggi Pokemon) in scene del mondo reale, ma l’interazione con tali oggetti richiede agli utenti di scorrere sullo schermo.

“Scorrere semplicemente non era un modo soddisfacente di interagire”, ha detto Huang. “Nel mondo reale, interagiamo con gli oggetti con le nostre mani. Giriamo le maniglie delle porte, raccogliamo le cose e le lanciamo. Quindi abbiamo pensato che manipolare oggetti virtuali a mano sarebbe molto più potente dello scorrimento. Ecco cosa c’è di diverso in Portal-ble. ”

La piattaforma utilizza un piccolo sensore a infrarossi montato sul retro di un telefono. Il sensore traccia la posizione delle mani delle persone rispetto agli oggetti virtuali, consentendo agli utenti di raccogliere oggetti, girarli, impilarli o rilasciarli. Inoltre permette alle persone di usare le mani praticamente per “dipingere” su fondali del mondo reale. Come dimostrazione, Huang e i suoi studenti hanno usato il sistema per dipingere un giardino virtuale in uno spazio verde nel campus di Brown’s College Hill.

Huang afferma che il principale contributo tecnico del lavoro è stato lo sviluppo delle giuste sistemazioni e degli strumenti di feedback per consentire alle persone di interagire in modo intuitivo con oggetti virtuali.

“Si scopre che raccogliere un oggetto virtuale è davvero difficile se si tenta di applicare la fisica del mondo reale”, ha detto Huang. “Le persone cercano di afferrare nel posto sbagliato o mettono le dita attraverso gli oggetti. Quindi abbiamo dovuto osservare come le persone hanno cercato di interagire con questi oggetti e quindi rendere il nostro sistema in grado di soddisfare tali tendenze. ”

Per fare ciò, Huang ha arruolato studenti in una classe a cui stava insegnando per inventare compiti che avrebbero potuto voler fare nel mondo dell’AR: impilare una serie di blocchi, per esempio. Gli studenti hanno quindi chiesto ad altre persone di provare a svolgere tali compiti usando Portal-ble, registrando al contempo ciò che le persone erano in grado di fare e cosa non potevano. Potrebbero quindi regolare la fisica del sistema e l’interfaccia utente per rendere più efficaci le interazioni.

“È un po ‘come quello che succede quando le persone disegnano linee in Photoshop”, ha detto Huang. “Le linee disegnate dalle persone non sono mai perfette, ma il programma può appianarle e renderle perfettamente diritte. Questi erano i tipi di sistemazioni che stavamo cercando di realizzare con questi oggetti virtuali. ”

Il team ha inoltre aggiunto un feedback sensoriale evidenziazioni visive su oggetti e vibrazioni del telefono per facilitare le interazioni. Huang ha affermato di essere rimasto un po ‘sorpreso dal fatto che le vibrazioni del telefono aiutassero gli utenti a interagire. Gli utenti sentono le vibrazioni nella mano che usano per tenere il telefono, non nella mano che sta effettivamente afferrando l’oggetto virtuale. Tuttavia, ha affermato Huang, il feedback sulle vibrazioni ha ancora aiutato gli utenti a interagire con successo con gli oggetti.

Negli studi di follow-up, gli utenti hanno riferito che le sistemazioni e il feedback utilizzati dal sistema hanno reso le attività significativamente più semplici, meno dispendiose in termini di tempo e più soddisfacenti.

Huang e i suoi studenti hanno in programma di continuare a lavorare con Portal-ble – espandendo la sua biblioteca di oggetti, perfezionando le interazioni e sviluppando nuove attività. Sperano anche di semplificare il sistema per farlo funzionare interamente su un telefono. Attualmente il sensore a infrarossi richiede un sensore a infrarossi e uno stick di elaborazione esterno per una potenza di elaborazione aggiuntiva.

Huang spera che le persone scaricheranno il codice sorgente disponibile gratuitamente e lo proveranno da soli.

“Vogliamo davvero solo metterlo sul mercato e vedere cosa ne fanno le persone”, ha detto. “Il codice è sul nostro sito Web per consentire alle persone di scaricare, modificare e creare. Sarà interessante vedere cosa ne fanno le persone “.

Co-autori del documento di ricerca erano Jing Qian, Jiaju Ma, Xiangyu Li, Benjamin Attal, Haoming Lai, James Tompkin e John Hughes. Il lavoro è stato supportato dalla National Science Foundation (IIS-1552663) e da un dono della Pixar.