Dzięki formie uczenia maszynowego zwanej głębokim uczeniem się przez wzmacnianie (DRL) robot EPFL nauczył się w szczególności przechodzić od kłusu do stępa – skokowego chodu z wygiętym grzbietem, używanego przez zwierzęta takie jak springbok i gazele – do poruszania się po trudnym terenie. teren ze szczelinami od 14-30 cm. Badanie prowadzone pod kierunkiem Laboratorium BioRobotics w Szkole Inżynierii EPFL oferuje nowy wgląd w to, dlaczego i w jaki sposób u zwierząt zachodzą takie zmiany chodu.
„Wcześniejsze badania wprowadziły efektywność energetyczną i unikanie urazów układu mięśniowo-szkieletowego jako dwa główne wyjaśnienia zmian chodu. Niedawno biolodzy argumentowali, że ważniejsza może być stabilność na płaskim terenie. Jednak eksperymenty na zwierzętach i robotach wykazały, że hipotezy te nie zawsze są słuszne zwłaszcza na nierównym terenie” – mówi doktorant Milad Shafiee, pierwsza autorka artykułu opublikowanego w Nature Communications.
Dlatego Shafiee i współautorzy Guillaume Bellegarda oraz szef laboratorium BioRobotics Auke Ijspeert byli zainteresowani nową hipotezą wyjaśniającą, dlaczego zachodzą zmiany chodu: żywotnością lub unikaniem upadków. Aby przetestować tę hipotezę, wykorzystali DRL do wytrenowania czworonożnego robota w pokonywaniu różnych terenów. Na płaskim terenie odkryli, że różne chody wykazywały różny poziom odporności na przypadkowe pchnięcia i że robot przestawił się ze stępa na kłus, aby zachować żywotność, tak jak robią to czworonogi podczas przyspieszania. W konfrontacji z kolejnymi przerwami w eksperymentalnej powierzchni robot spontanicznie przestawił się z kłusu na podskok, aby uniknąć upadku. Co więcej, jedynym czynnikiem, który poprawiał się dzięki takim zmianom chodu, była żywotność.
„Pokazaliśmy, że na płaskim i wymagającym, dyskretnym terenie żywotność prowadzi do pojawienia się zmian chodu, ale efektywność energetyczna niekoniecznie ulega poprawie” – wyjaśnia Shafiee. „Wygląda na to, że efektywność energetyczna, którą wcześniej uważano za siłę napędową takich zmian, może mieć większe konsekwencje. Kiedy zwierzę porusza się w trudnym terenie, prawdopodobnie nie spada jego priorytet, a w następnej kolejności efektywność energetyczna”.
Architektura uczenia się inspirowana biologią
Aby modelować kontrolę lokomocyjną w swoim robocie, naukowcy wzięli pod uwagę trzy współdziałające elementy, które napędzają ruch zwierząt: mózg, rdzeń kręgowy i sensoryczne informacje zwrotne z organizmu. Wykorzystali DRL do wyszkolenia sieci neuronowej tak, aby naśladowała przekazywanie sygnałów mózgowych przez rdzeń kręgowy do ciała, gdy robot przemierzał teren eksperymentalny. Następnie zespół przypisał różne wagi trzem możliwym celom uczenia się: efektywności energetycznej, redukcji siły i rentowności. Seria symulacji komputerowych ujawniła, że z tych trzech celów żywotność była jedynym, który skłonił robota do automatycznej – bez instrukcji ze strony naukowców – zmiany chodu.
Zespół podkreśla, że obserwacje te stanowią pierwsze ramy lokomocji oparte na uczeniu się, w których zmiany chodu pojawiają się spontanicznie w procesie uczenia się, a także najbardziej dynamiczne pokonywanie tak dużych kolejnych przerw w przypadku czworonożnego robota.
„Nasza architektura uczenia się inspirowana biologią wykazała najnowocześniejszą zwinność czworonożnego robota w trudnym terenie” – mówi Shafiee.
Naukowcy zamierzają rozszerzyć swoją pracę o dodatkowe eksperymenty, w których różne typy robotów będą umieszczane w szerszej gamie wymagających środowisk. Mają nadzieję, że oprócz dalszego wyjaśnienia sposobu poruszania się zwierząt ostatecznie ich praca umożliwi szersze wykorzystanie robotów w badaniach biologicznych, zmniejszając zależność od modeli zwierzęcych i związane z tym obawy etyczne.