Un Bracciale Utilizza Echi e Intelligenza Artificiale per Tracciare Posizioni della Mano per VR e Altro
In un mondo in cui la realtà virtuale (VR) e l’interazione uomo-macchina diventano sempre più rilevanti, i ricercatori si dedicano allo sviluppo di tecnologie innovative per migliorare l’esperienza degli utenti. Cornell ha sviluppato un dispositivo da polso in grado di rilevare continuamente la posizione della mano e gli oggetti con cui la mano interagisce, utilizzando onde sonore inaudibili alimentate da intelligenza artificiale (IA).
EchoWrist: La Nuova Frontiera della Tecnologia per il Tracciamento della Posizione della Mano
Il dispositivo, chiamato EchoWrist, rappresenta una delle più recenti tecnologie di tracciamento della posa del corpo del laboratorio SciFi. Cheng Zhang, professore associato di scienze dell’informazione presso il Cornell Ann S. Bowers College of Computing and Information Science, guida il laboratorio.
Utilizzo e Potenziali Applicazioni
EchoWrist offre una vasta gamma di applicazioni potenziali, tra cui il tracciamento delle posizioni della mano per i sistemi di realtà virtuale (VR), il controllo degli smartphone e di altri dispositivi con gesti della mano e la comprensione delle attività degli utenti. Ad esempio, un’app di cucina potrebbe narrare una ricetta mentre l’utente taglia, misura e mescola. La tecnologia è abbastanza compatta da adattarsi a un normale smartwatch commerciale e dura tutto il giorno con una batteria standard.
Il dispositivo utilizza due piccoli altoparlanti montati sulla parte superiore e inferiore di un bracciale per riflettere onde sonore inudibili sulla mano e sugli oggetti che essa tiene. Due microfoni vicini captano gli echi, interpretati da un microcontrollore. Una batteria delle dimensioni di una moneta alimenta il dispositivo.
L’équipe ha sviluppato un tipo di modello di intelligenza artificiale ispirato ai neuroni del cervello, chiamato rete neurale, per interpretare la postura della mano dell’utente in base agli echi risultanti. Per addestrare la rete neurale, hanno confrontato profili di eco e video di utenti che facevano vari gesti e ricostruito le posizioni di 20 giunture della mano basandosi sui segnali sonori.
Con l’aiuto di 12 volontari, i ricercatori hanno testato quanto bene EchoWrist rilevi oggetti come una tazza, le bacchette, una bottiglia d’acqua, una pentola, una padella e un bollitore, e azioni come bere, mescolare, sbucciare, girare, tagliare e versare. Complessivamente, il dispositivo ha ottenuto una precisione del 97,6%. Questa capacità rende possibile per gli utenti seguire ricette interattive che tracciano il progresso del cuoco e leggono il prossimo passaggio, permettendo così ai cuochi di evitare di sporcare i loro schermi.
A differenza di FingerTrak, una precedente tecnologia di tracciamento della mano del Laboratorio SciFi che utilizzava telecamere, EchoWrist è molto più piccolo e consuma significativamente meno energia.
La tecnologia potrebbe essere utilizzata per riprodurre movimenti della mano per applicazioni VR. I sistemi VR e di realtà aumentata esistenti svolgono questo compito utilizzando telecamere montate sul visore, ma questo approccio consuma molta energia e non può tracciare le mani una volta che escono dal campo visivo limitato del visore.
“Gli EchoWrist possono permettere di arricchire l’interazione con uno smartwatch o anche con altri dispositivi permettendo un’interazione con una sola mano—potremmo anche controllare il nostro smartphone a distanza,” ha detto Lee. “Posso usare gesti con una sola mano per controllare le mie diapositive.”
I ricercatori hanno notato, tuttavia, che EchoWrist ha ancora difficoltà a distinguere tra oggetti con forme molto simili, come una forchetta e un cucchiaio. Ma il team è fiducioso che il riconoscimento degli oggetti migliorerà con il perfezionamento della tecnologia. Con ulteriori ottimizzazioni, ritengono che EchoWrist potrebbe facilmente essere integrato in uno smartwatch commerciale già esistente.
