Naukowcy z Purdue University rozwijają świat robotyki i autonomii dzięki swojej zgłoszonej do opatentowania metodzie, która poprawia tradycyjne widzenie maszynowe i percepcję.
Zubin Jacob, profesor nadzwyczajny inżynierii elektrycznej i komputerowej w Elmore Family School of Electrical and Computer Engineering oraz naukowiec Fanglin Bao opracowali HADAR, czyli wykrywanie i określanie odległości wspomagane ciepłem. Ich badania znalazły się na okładce recenzowanego czasopisma Nature z 26 lipca. Film o HADAR jest dostępny na YouTube. Nature wydało również odcinek podcastu, który zawiera wywiad z Jacobem.
Jacob powiedział, że oczekuje się, że jeden na 10 pojazdów będzie zautomatyzowany i że do 2030 roku będzie 20 milionów robotów-pomocników, którzy będą służyć ludziom.
„Każdy z tych agentów będzie zbierał informacje o otaczającej go scenie za pomocą zaawansowanych czujników, aby podejmować decyzje bez interwencji człowieka” – powiedział Jacob. „Jednak jednoczesne postrzeganie sceny przez wielu agentów jest zasadniczo zaporowe”.
Tradycyjne czujniki aktywne, takie jak LiDAR lub wykrywanie światła i określanie odległości, radar i sonar emitują sygnały, a następnie odbierają je w celu zebrania informacji 3D o scenie. Metody te mają wady, które zwiększają się wraz ze wzrostem skali, w tym zakłócenia sygnału i zagrożenia dla bezpieczeństwa oczu ludzi. Dla porównania, kamery wideo działające w oparciu o światło słoneczne lub inne źródła oświetlenia są korzystne, ale warunki słabego oświetlenia, takie jak noc, mgła lub deszcz, stanowią poważne utrudnienie.
Tradycyjne obrazowanie termiczne to w pełni pasywna metoda wykrywania, która zbiera niewidzialne promieniowanie cieplne pochodzące ze wszystkich obiektów w scenie. Może wyczuwać ciemność, niepogodę i blask słońca. Ale Jacob powiedział, że fundamentalne wyzwania utrudniają jego użycie dzisiaj.
„Obiekty i ich otoczenie nieustannie emitują i rozpraszają promieniowanie cieplne, co prowadzi do obrazów pozbawionych tekstur, znanych jako„ efekt zjawy ”” – powiedział Bao. „Zdjęcia termiczne twarzy osoby pokazują tylko kontury i pewien kontrast temperaturowy; nie ma żadnych cech, co sprawia wrażenie, jakbyś zobaczył ducha. Ta utrata informacji, tekstury i cech stanowi przeszkodę dla percepcji maszyn za pomocą promieniowania cieplnego”.
HADAR łączy fizykę termiczną, obrazowanie w podczerwieni i uczenie maszynowe, aby utorować drogę do w pełni pasywnej i świadomej fizyki percepcji maszyn.
„Nasza praca buduje teoretyczne podstawy informacyjne percepcji termicznej, aby pokazać, że całkowita ciemność niesie taką samą ilość informacji, jak biały dzień. Ewolucja sprawiła, że istoty ludzkie są bardziej przyzwyczajone do dnia. i noc – powiedział Jakub.
Bao powiedział: „HADAR wyraźnie odzyskuje teksturę z zagraconego sygnału cieplnego i dokładnie rozplątuje temperaturę, emisyjność i teksturę lub TeX wszystkich obiektów w scenie. Widzi teksturę i głębię w ciemności, jakby to był dzień, a także postrzega fizyczne atrybuty wykraczające poza RGB lub czerwony, zielony i niebieski, obrazowanie widzialne lub konwencjonalne wykrywanie termiczne. Zaskakujące jest to, że można widzieć w całkowitej ciemności jak w biały dzień”.
Zespół przetestował wizję HADAR TeX na nocnej scenie terenowej.
„HADAR TeX Vision odzyskał tekstury i przezwyciężył efekt smużenia” — powiedział Bao. „Odzyskał drobne tekstury, takie jak zmarszczki wody, zmarszczki kory i przepusty, oprócz szczegółów dotyczących trawiastej ziemi”.
Dodatkowe ulepszenia HADAR to zwiększenie rozmiaru sprzętu i szybkości zbierania danych.
„Obecny czujnik jest duży i ciężki, ponieważ algorytmy HADAR wymagają wielu kolorów niewidzialnego promieniowania podczerwonego” – powiedział Bao. „Aby zastosować go w samojezdnych samochodach lub robotach, musimy zmniejszyć rozmiar i cenę, jednocześnie przyspieszając kamery. Obecny czujnik potrzebuje około jednej sekundy, aby stworzyć jeden obraz, ale w przypadku samochodów autonomicznych potrzebujemy około 30 do 60 częstotliwość klatek w hercach lub liczba klatek na sekundę”.
Początkowe zastosowania HADAR TeX vision to zautomatyzowane pojazdy i roboty, które wchodzą w interakcje z ludźmi w złożonych środowiskach. Technologia może być dalej rozwijana do zastosowań w rolnictwie, obronie, naukach o Ziemi, opiece zdrowotnej i monitorowaniu dzikich zwierząt.
Jacob i Bao ujawnili HADAR TeX Biuru Komercjalizacji Technologii Purdue Innovates, które złożyło wniosek o patent na własność intelektualną. Partnerzy branżowi, którzy chcą dalej rozwijać innowacje, powinni skontaktować się z firmą Dipak Narula,