Zespół naukowców z Politechniki w Delft opracował drona, który lata autonomicznie, wykorzystując neuromorficzne przetwarzanie obrazu i kontrolę w oparciu o działanie mózgów zwierząt. Mózgi zwierząt zużywają mniej danych i energii w porównaniu z obecnymi głębokimi sieciami neuronowymi działającymi na procesorach graficznych (chipach graficznych). Procesory neuromorficzne doskonale nadają się zatem do małych dronów, ponieważ nie wymagają ciężkiego i dużego sprzętu ani baterii. Wyniki są niezwykłe: podczas lotu głęboka sieć neuronowa drona przetwarza dane nawet 64 razy szybciej i zużywa trzy razy mniej energii niż w przypadku pracy na GPU. Dalszy rozwój tej technologii może sprawić, że drony staną się tak małe, zwinne i inteligentne jak latające owady czy ptaki. Wyniki opublikowano niedawno w czasopiśmie Science Robotics.
Uczenie się od mózgów zwierząt: impulsowe sieci neuronowe
Sztuczna inteligencja ma ogromny potencjał, jeśli chodzi o zapewnienie autonomicznym robotom inteligencji potrzebnej do zastosowań w świecie rzeczywistym. Jednak obecna sztuczna inteligencja opiera się na głębokich sieciach neuronowych, które wymagają znacznej mocy obliczeniowej. Procesory przeznaczone do obsługi głębokich sieci neuronowych (jednostki przetwarzania grafiki, procesory graficzne) zużywają znaczną ilość energii. Stanowi to problem szczególnie w przypadku małych robotów, takich jak latające drony, ponieważ mogą one przenosić jedynie bardzo ograniczone zasoby w zakresie wykrywania i przetwarzania danych.
Mózgi zwierząt przetwarzają informacje w sposób bardzo odmienny od sieci neuronowych działających na procesorach graficznych. Neurony biologiczne przetwarzają informacje asynchronicznie i komunikują się głównie za pomocą impulsów elektrycznych zwanych impulsami. Ponieważ wysyłanie takich impulsów kosztuje energię, mózg minimalizuje impulsy, co prowadzi do rzadkiego przetwarzania.
Zainspirowani właściwościami mózgów zwierząt naukowcy i firmy technologiczne opracowują nowe, neuromorficzne procesory. Te nowe procesory umożliwiają uruchamianie sieci neuronowych typu „speaking” i zapewniają, że będą znacznie szybsze i bardziej energooszczędne.
„Obliczenia wykonywane przez sieci neuronowe ze szczytami są znacznie prostsze niż te w standardowych głębokich sieciach neuronowych” – mówi Jesse Hagenaars, doktorant i jeden z autorów artykułu. „Podczas gdy cyfrowe neurony ze szczytami muszą jedynie dodawać liczby całkowite, standardowe neurony mają mnożyć i dodawać liczby zmiennoprzecinkowe. Dzięki temu tworzenie sieci neuronowych jest szybsze i bardziej energooszczędne. Aby zrozumieć dlaczego, pomyśl o tym, że ludziom znacznie łatwiej jest obliczyć 5 + 8 niż 6,25 x 3,45 + 4,05 x 3,45.
Ta efektywność energetyczna jest dodatkowo zwiększona, jeśli procesory neuromorficzne są stosowane w połączeniu z czujnikami neuromorficznymi, takimi jak kamery neuromorficzne. Takie kamery nie wykonują zdjęć w ustalonych odstępach czasu. Zamiast tego każdy piksel wysyła sygnał tylko wtedy, gdy staje się jaśniejszy lub ciemniejszy. Zaletami takich kamer jest to, że znacznie szybciej dostrzegają ruch, są bardziej energooszczędne i dobrze działają zarówno w ciemnym, jak i jasnym otoczeniu. Co więcej, sygnały z kamer neuromorficznych mogą być przesyłane bezpośrednio do sieci neuronowych działających na procesorach neuromorficznych. Razem mogą stworzyć ogromny potencjał dla robotów autonomicznych, zwłaszcza małych, zwinnych robotów, takich jak latające drony.
Pierwsza neuromorficzna wizja i kontrola latającego drona
W artykule opublikowanym w Science Robotics 15 maja 2024 r. naukowcy z Uniwersytetu Technologicznego w Delft w Holandii po raz pierwszy demonstrują drona, który wykorzystuje neuromorficzne widzenie i kontrolę do autonomicznego lotu. W szczególności opracowali impulsową sieć neuronową, która przetwarza sygnały z kamery neuromorficznej i wysyła polecenia sterujące, które określają pozycję i ciąg drona. Wdrożyli tę sieć w neuromorficznym procesorze, neuromorficznym chipie badawczym Loihi firmy Intel, znajdującym się na pokładzie drona. Dzięki sieci dron może postrzegać i kontrolować własny ruch we wszystkich kierunkach.
„Staliśmy przed wieloma wyzwaniami” – mówi Federico Paredes-Vallés, jeden z badaczy biorących udział w badaniu – „ale najtrudniejsze było wyobrażenie sobie, w jaki sposób moglibyśmy wytrenować sieć neuronową o impulsowym działaniu, tak aby szkolenie było zarówno wystarczająco szybkie, jak i wytrenowane sieć dobrze funkcjonowałaby na prawdziwym robocie. Ostatecznie zaprojektowaliśmy sieć składającą się z dwóch modułów. Pierwszy moduł uczy się wizualnie odbierać ruch na podstawie sygnałów poruszającej się kamery neuromorficznej. Robi to całkowicie samodzielnie, w sposób samo-samoczynny. nadzorowany, bazujący wyłącznie na danych z kamery. Podobnie jest w przypadku zwierząt, które uczą się samodzielnie postrzegać świat. Drugi moduł uczy się odwzorowywać przewidywany ruch na polecenia sterujące, w symulatorze ewolucja w symulacji, w której sieci, które lepiej kontrolowały drona, miały większe szanse na spłodzenie potomstwa. W ciągu kolejnych pokoleń sztucznej ewolucji, impulsowe sieci neuronowe zyskiwały coraz większą kontrolę i w końcu były w stanie latać w dowolnym kierunku. różne prędkości. Przeszkoliliśmy oba moduły i opracowaliśmy sposób, w jaki możemy je połączyć. Byliśmy szczęśliwi, że połączona sieć od razu dobrze zadziałała na prawdziwym robocie”.
Dzięki neuromorficznemu widzeniu i kontroli dron może latać z różnymi prędkościami w różnych warunkach oświetleniowych, od ciemnego do jasnego. Może nawet latać z migoczącymi światłami, co sprawia, że piksele w kamerze neuromorficznej wysyłają do sieci ogromną liczbę sygnałów niezwiązanych z ruchem.
Poprawiona wydajność energetyczna i szybkość dzięki neuromorficznej sztucznej inteligencji
„Co ważne, nasze pomiary potwierdzają potencjał neuromorficznej sztucznej inteligencji. Sieć działa średnio od 274 do 1600 razy na sekundę. Jeśli uruchomimy tę samą sieć na małym, wbudowanym procesorze graficznym, będzie ona działać średnio tylko 25 razy na sekundę, co stanowi różnicę współczynnik ~10-64! Co więcej, podczas pracy sieci neuromorficzny chip badawczy Loihi firmy Intel zużywa 1,007 W, z czego 1 W to moc w stanie bezczynności, którą procesor zużywa tylko podczas włączania układu Dla porównania, podczas pracy w tej samej sieci wbudowany procesor graficzny zużywa 3 waty, z czego 1 wat to moc w stanie bezczynności, a 2 waty są wydawane na działanie sieci. Podejście neuromorficzne zapewnia, że sztuczna inteligencja działa szybciej i wydajniej wdrożenia na znacznie mniejszych autonomicznych robotach” – mówi Stein Stroobants, doktorant w dziedzinie dronów neuromorficznych.
Przyszłe zastosowania neuromorficznej sztucznej inteligencji dla małych robotów
„Neuromorficzna sztuczna inteligencja sprawi, że wszystkie autonomiczne roboty będą bardziej inteligentne” – mówi Guido de Croon, profesor zajmujący się dronami inspirowanymi biologią, „ale jest to absolutny czynnik umożliwiający rozwój małych autonomicznych robotów. Na Wydziale Inżynierii Lotniczej Politechniki w Delft pracujemy na małych autonomicznych dronach, które można wykorzystać do różnych zastosowań, od monitorowania upraw w szklarniach po śledzenie zapasów w magazynach. Zaletą małych dronów jest to, że są bardzo bezpieczne i mogą poruszać się w wąskich przestrzeniach, np. pomiędzy plantacjami pomidorów , mogą być bardzo tanie, więc można je rozmieszczać w rojach. Jest to przydatne do szybszego pokrycia obszaru, jak pokazaliśmy w ustawieniach eksploracji i lokalizacji źródeł gazu.
„Obecne prace to wielki krok w tym kierunku. Jednakże realizacja tych zastosowań będzie zależała od dalszego zmniejszania sprzętu neuromorficznego i rozszerzania możliwości w kierunku bardziej złożonych zadań, takich jak nawigacja”.