Naukowcy pod kierunkiem Uniwersytetu Kalifornijskiego w San Diego opracowali nowy model, który trenuje czworonożne roboty, aby lepiej widziały w 3D. Postęp umożliwił robotowi samodzielne pokonywanie trudnego terenu z łatwością – w tym schodów, skalistego podłoża i pełnych szczelin ścieżek – jednocześnie usuwając przeszkody na swojej drodze.
Naukowcy zaprezentują swoje prace na konferencji 2023 Conference on Computer Vision and Pattern Recognition (CVPR), która odbędzie się w dniach 18-22 czerwca w Vancouver w Kanadzie.
„Zapewniając robotowi lepsze zrozumienie jego otoczenia w 3D, można go wdrażać w bardziej złożonych środowiskach w prawdziwym świecie” – powiedział starszy autor badania Xiaolong Wang, profesor inżynierii elektrycznej i komputerowej w UC San Diego Jacobs School Inżynierii.
Robot jest wyposażony w skierowaną do przodu kamerę głębokości na głowie. Kamera jest pochylona w dół pod kątem, który zapewnia dobry widok zarówno sceny przed nią, jak i terenu pod nią.
Aby poprawić percepcję 3D robota, naukowcy opracowali model, który najpierw pobiera obrazy 2D z kamery i przekłada je na przestrzeń 3D. Robi to, patrząc na krótką sekwencję wideo, która składa się z bieżącej klatki i kilku poprzednich klatek, a następnie wyodrębniając fragmenty informacji 3D z każdej klatki 2D. Obejmuje to informacje o ruchach nóg robota, takie jak kąt stawu, prędkość stawu i odległość od podłoża. Model porównuje informacje z poprzednich klatek z informacjami z bieżącej klatki, aby oszacować transformację 3D między przeszłością a teraźniejszością.
Model łączy wszystkie te informacje razem, dzięki czemu może wykorzystać bieżącą ramkę do syntezy poprzednich ramek. Gdy robot się porusza, model porównuje zsyntetyzowane klatki z klatkami już przechwyconymi przez kamerę. Jeśli są dobrze dopasowane, model wie, że nauczył się poprawnej reprezentacji sceny 3D. W przeciwnym razie wprowadza poprawki, dopóki nie zrobi tego dobrze.
Reprezentacja 3D służy do sterowania ruchem robota. Syntetyzując informacje wizualne z przeszłości, robot jest w stanie zapamiętać to, co widział, a także działania, które wcześniej wykonywały jego nogi, i wykorzystać tę pamięć do informowania o swoich kolejnych ruchach.
„Nasze podejście pozwala robotowi zbudować krótkotrwałą pamięć jego trójwymiarowego otoczenia, dzięki czemu może działać lepiej” – powiedział Wang.
Nowe badanie opiera się na wcześniejszej pracy zespołu, w ramach której naukowcy opracowali algorytmy łączące widzenie komputerowe z propriocepcją – która obejmuje wyczucie ruchu, kierunku, prędkości, lokalizacji i dotyku – aby umożliwić czworonożnemu robotowi chodzenie i bieganie po nierównym terenie, unikając przeszkód. Postęp polega na tym, że poprawiając trójwymiarową percepcję robota (i łącząc ją z propriocepcją), naukowcy pokazują, że robot może pokonywać trudniejszy teren niż wcześniej.
„Ekscytujące jest to, że opracowaliśmy jeden model, który radzi sobie w różnych wymagających środowiskach” — powiedział Wang. „To dlatego, że udało nam się lepiej zrozumieć otoczenie 3D, dzięki czemu robot jest bardziej wszechstronny w różnych scenariuszach”.
Podejście ma jednak swoje ograniczenia. Wang zauważa, że ich obecny model nie prowadzi robota do określonego celu lub miejsca docelowego. Po uruchomieniu robot po prostu podąża prostą ścieżką, a jeśli widzi przeszkodę, unika jej, odchodząc inną prostą ścieżką. „Robot nie kontroluje dokładnie, dokąd zmierza” – powiedział. „W przyszłych pracach chcielibyśmy uwzględnić więcej technik planowania i ukończyć rurociąg nawigacyjny”.
Wideo: https://youtu.be/vJdt610GSGk
Tytuł referatu: „Neuralowa pamięć wolumetryczna do wizualnej kontroli lokomocji”. Współautorami są Ruihan Yang, UC San Diego i Ge Yang, Massachusetts Institute of Technology.
Ta praca była częściowo wspierana przez National Science Foundation (CCF-2112665, IIS-2240014, 1730158 i ACI-1541349), nagrodę Amazon Research Award oraz prezenty od firmy Qualcomm.