Naukowcy z MIT zbudowali zestaw słuchawkowy z rozszerzoną rzeczywistością, który daje użytkownikowi widzenie rentgenowskie.
Zestaw słuchawkowy łączy widzenie komputerowe i percepcję bezprzewodową, aby automatycznie zlokalizować określony przedmiot, który jest ukryty, na przykład w pudełku lub pod stosem, a następnie poprowadzić użytkownika, aby go odzyskał.
System wykorzystuje sygnały o częstotliwości radiowej (RF), które mogą przechodzić przez zwykłe materiały, takie jak kartony, plastikowe pojemniki lub drewniane przekładki, w celu znalezienia ukrytych przedmiotów oznaczonych etykietami RFID, które odzwierciedlają sygnały wysyłane przez antenę RF.
Zestaw słuchawkowy kieruje użytkownika podczas przechodzenia przez pokój w kierunku miejsca, w którym znajduje się przedmiot, który pojawia się jako przezroczysta kula w interfejsie rzeczywistości rozszerzonej (AR). Gdy przedmiot znajdzie się w dłoni użytkownika, zestaw słuchawkowy o nazwie X-AR weryfikuje, czy podniósł właściwy przedmiot.
Kiedy naukowcy testowali X-AR w środowisku przypominającym magazyn, zestaw słuchawkowy mógł zlokalizować ukryte przedmioty średnio z dokładnością do 9,8 centymetra. I zweryfikował, że użytkownicy wybrali właściwy przedmiot z 96-procentową dokładnością.
X-AR może pomóc pracownikom magazynów e-commerce w szybkim znajdowaniu artykułów na zagraconych półkach lub zakopanych w pudełkach lub poprzez identyfikację dokładnego artykułu do zamówienia, gdy wiele podobnych przedmiotów znajduje się w tym samym pojemniku. Może być również używany w zakładzie produkcyjnym, aby pomóc technikom zlokalizować odpowiednie części do montażu produktu.
„Celem naszego całego projektu było zbudowanie systemu rozszerzonej rzeczywistości, który pozwala zobaczyć rzeczy, które są niewidoczne – rzeczy, które znajdują się w pudełkach lub za rogami – a robiąc to, może poprowadzić cię do nich i naprawdę pozwolić ci zobaczyć świat fizyczny w sposób, który nie był wcześniej możliwy”, mówi Fadel Adib, profesor nadzwyczajny na Wydziale Elektrotechniki i Informatyki, dyrektor grupy Signal Kinetics w Media Lab oraz główny autor artykuł na temat X-AR.
Współautorami Adiba są asystenci naukowi Tara Boroushaki, która jest głównym autorem artykułu; Maisy Lam; Laura Dodds; oraz była doktor habilitowana Aline Eid, która obecnie jest adiunktem na Uniwersytecie Michigan. Wyniki badań zostaną zaprezentowane na sympozjum USENIX poświęconym projektowaniu i wdrażaniu systemów sieciowych.
Rozszerzenie zestawu słuchawkowego AR
Aby stworzyć zestaw słuchawkowy rzeczywistości rozszerzonej z widzeniem rentgenowskim, naukowcy musieli najpierw wyposażyć istniejący zestaw słuchawkowy w antenę, która mogłaby komunikować się z przedmiotami oznaczonymi znacznikami RFID. Większość systemów lokalizacji RFID wykorzystuje wiele anten rozmieszczonych w odległości kilku metrów od siebie, ale naukowcy potrzebowali jednej lekkiej anteny, która mogłaby osiągnąć wystarczająco dużą przepustowość, aby komunikować się ze znacznikami.
„Wielkim wyzwaniem było zaprojektowanie anteny, która pasowałaby do zestawu słuchawkowego, nie zasłaniając żadnej z kamer ani nie utrudniając jej działania. To ma duże znaczenie, ponieważ musimy wykorzystać wszystkie specyfikacje wizjera” — mówi Eid.
Zespół wziął prostą, lekką antenę pętlową i eksperymentował, zwężając antenę (stopniowo zmieniając jej szerokość) i dodając przerwy, obie techniki zwiększające przepustowość. Ponieważ anteny zwykle działają na otwartej przestrzeni, naukowcy zoptymalizowali je pod kątem wysyłania i odbierania sygnałów po podłączeniu do osłony zestawu słuchawkowego.
Po zbudowaniu skutecznej anteny zespół skupił się na wykorzystaniu jej do lokalizowania przedmiotów oznaczonych znacznikami RFID.
Wykorzystali technikę znaną jako radar z syntetyczną aperturą (SAR), która jest podobna do sposobu, w jaki samoloty obrazują obiekty na ziemi. X-AR wykonuje pomiary swoją anteną z różnych punktów widzenia, gdy użytkownik porusza się po pokoju, a następnie łączy te pomiary. W ten sposób działa jak układ anten, w którym pomiary z wielu anten są łączone w celu zlokalizowania urządzenia.
X-AR wykorzystuje dane wizualne z funkcji samośledzenia zestawu słuchawkowego, aby zbudować mapę otoczenia i określić jego położenie w tym środowisku. Gdy użytkownik idzie, oblicza prawdopodobieństwo znacznika RFID w każdej lokalizacji. Prawdopodobieństwo będzie największe w dokładnej lokalizacji znacznika, więc wykorzystuje te informacje do wyzerowania ukrytego obiektu.
„Choć stanowiło to wyzwanie podczas projektowania systemu, w naszych eksperymentach odkryliśmy, że faktycznie dobrze współpracuje on z naturalnym ruchem człowieka. Ponieważ ludzie dużo się przemieszczają, pozwala nam to wykonywać pomiary z wielu różnych miejsc i dokładnie lokalizować przedmiot” – mówi Dodds.
Gdy X-AR zlokalizował przedmiot i użytkownik go podniósł, zestaw słuchawkowy musi zweryfikować, czy użytkownik chwycił właściwy przedmiot. Ale teraz użytkownik stoi nieruchomo, a antena zestawu słuchawkowego się nie porusza, więc nie może użyć SAR do zlokalizowania znacznika.
Jednak gdy użytkownik podnosi przedmiot, znacznik RFID porusza się wraz z nim. X-AR może mierzyć ruch znacznika RFID i wykorzystywać funkcję śledzenia dłoni zestawu słuchawkowego, aby zlokalizować przedmiot w dłoni użytkownika. Następnie sprawdza, czy tag wysyła właściwe sygnały RF, aby zweryfikować, czy jest to właściwy obiekt.
Naukowcy wykorzystali możliwości wizualizacji holograficznej zestawu słuchawkowego, aby wyświetlić te informacje użytkownikowi w prosty sposób. Po założeniu zestawu słuchawkowego użytkownik korzysta z menu, aby wybrać obiekt z bazy danych oznaczonych elementów. Po zlokalizowaniu obiekt jest otoczony przezroczystą kulą, dzięki czemu użytkownik może zobaczyć, gdzie się znajduje w pomieszczeniu. Następnie urządzenie projektuje trajektorię do tego przedmiotu w postaci kroków na podłodze, które mogą aktualizować się dynamicznie w miarę chodzenia użytkownika.
„Wyabstrahowaliśmy wszystkie aspekty techniczne, abyśmy mogli zapewnić użytkownikowi bezproblemowe, przejrzyste wrażenia, co byłoby szczególnie ważne, gdyby ktoś założył to w środowisku magazynowym lub w inteligentnym domu” – mówi Lam.
Testowanie zestawu słuchawkowego
Aby przetestować X-AR, naukowcy stworzyli symulowany magazyn, wypełniając półki kartonowymi pudełkami i plastikowymi pojemnikami oraz umieszczając w nich przedmioty oznakowane RFID.
Odkryli, że X-AR może poprowadzić użytkownika do docelowego przedmiotu z błędem mniejszym niż 10 centymetrów – co oznacza, że przedmiot znajdował się średnio mniej niż 10 centymetrów od miejsca, w którym X-AR skierował użytkownika. Metody bazowe, które przetestowali naukowcy, miały średni błąd wynoszący od 25 do 35 centymetrów.
Odkryli również, że poprawnie sprawdzał, czy użytkownik wybrał właściwy przedmiot w 98,9 procentach przypadków. Oznacza to, że X-AR jest w stanie zredukować błędy kompletacji o 98,9 procent. Dokładność wynosiła nawet 91,9 procent, gdy przedmiot znajdował się jeszcze w pudełku.
„System nie musi wizualnie widzieć przedmiotu, aby sprawdzić, czy wybrałeś właściwy przedmiot. Jeśli masz 10 różnych telefonów w podobnych opakowaniach, możesz nie być w stanie odróżnić ich od siebie, ale może pomóc wciąż możesz wybrać właściwą” — mówi Boroushaki.
Teraz, po wykazaniu sukcesu X-AR, naukowcy planują zbadać, w jaki sposób można wykorzystać różne modalności wykrywania, takie jak WiFi, technologia mmWave lub fale terahercowe, w celu zwiększenia możliwości wizualizacji i interakcji. Mogliby również ulepszyć antenę, aby jej zasięg mógł przekraczać 3 metry i rozszerzyć system do użytku z wieloma skoordynowanymi zestawami słuchawkowymi.
„Ponieważ dzisiaj nie ma czegoś takiego, musieliśmy wymyślić, jak zbudować całkowicie nowy typ systemu od początku do końca” — mówi Adib. „W rzeczywistości to, co wymyśliliśmy, jest ramą. Istnieje wiele wkładów technicznych, ale jest to również plan, w jaki sposób zaprojektowałbyś zestaw słuchawkowy AR z wizją rentgenowską w przyszłości”.
Wideo: https://youtu.be/bdUN21ft7G0