Noworodek żyrafa lub źrebię musi nauczyć się jak najszybciej chodzić na nogach, aby uniknąć drapieżników. Zwierzęta rodzą się z sieciami koordynacji mięśni zlokalizowanymi w ich rdzeniu kręgowym. Jednak nauka precyzyjnej koordynacji mięśni i ścięgien nóg zajmuje trochę czasu. Początkowo młode zwierzęta w dużej mierze polegają na odruchach rdzenia kręgowego. Choć nieco bardziej podstawowe, odruchy kontroli motorycznej pomagają zwierzęciu uniknąć upadku i zranienia się podczas pierwszych prób chodzenia. Należy ćwiczyć następującą, bardziej zaawansowaną i precyzyjną kontrolę mięśni, aż w końcu układ nerwowy będzie dobrze przystosowany do mięśni nóg i ścięgien młodego zwierzęcia. Koniec z niekontrolowanym potykaniem się — młode zwierzę może teraz nadążyć za dorosłymi.
Naukowcy z Instytutu Systemów Inteligentnych Maxa Plancka (MPI-IS) w Stuttgarcie przeprowadzili badanie, aby dowiedzieć się, w jaki sposób zwierzęta uczą się chodzić i jak potykają się. Zbudowali czworonożnego robota wielkości psa, który pomógł im zrozumieć szczegóły.
„Jako inżynierowie i robotycy szukaliśmy odpowiedzi, budując robota, który ma odruch jak zwierzę i uczy się na błędach”, mówi Felix Ruppert, były doktorant w grupie badawczej Dynamic Locomotion w MPI-IS. „Jeśli zwierzę się potyka, czy to pomyłka? Nie, jeśli zdarzy się to raz. Ale jeśli często się potyka, daje nam to miarę tego, jak dobrze chodzi robota”.
Felix Ruppert jest pierwszym autorem książki „Learning Plastic Matching of Robot Dynamics in Closed-loop Central Pattern Generators”, która zostanie opublikowana 18 lipca 2022 r. w czasopiśmie Nature Machine Intelligence.
Algorytm uczenia optymalizuje wirtualny rdzeń kręgowy
Po nauczeniu się chodzenia w zaledwie godzinę, robot Rupperta dobrze wykorzystuje swoją złożoną mechanikę nóg. Algorytm optymalizacji Bayesa kieruje procesem uczenia się: zmierzone informacje z czujnika stopy są dopasowywane do danych docelowych z modelowanego wirtualnego rdzenia kręgowego działającego jako program w komputerze robota. Robot uczy się chodzić poprzez ciągłe porównywanie wysyłanych i oczekiwanych informacji z czujników, uruchamianie pętli odruchów i dostosowywanie wzorców sterowania silnikiem.
Algorytm uczenia dostosowuje parametry sterowania Centralnego Generatora Wzorców (CPG). U ludzi i zwierząt te centralne generatory wzorców to sieci neuronów w rdzeniu kręgowym, które wytwarzają okresowe skurcze mięśni bez udziału mózgu. Centralne sieci generatorów wzorców wspomagają generowanie rytmicznych zadań, takich jak chodzenie, mruganie lub trawienie. Ponadto odruchy są mimowolnymi czynnościami kontroli motorycznej, wyzwalanymi przez zakodowane ścieżki nerwowe, które łączą czujniki w nodze z rdzeniem kręgowym.
Dopóki młode zwierzę chodzi po idealnie płaskiej powierzchni, CPG mogą wystarczyć do kontrolowania sygnałów ruchu z rdzenia kręgowego. Niewielkie uderzenie w ziemię zmienia jednak chód. Odruchy włączają się i dostosowują wzorce ruchu, aby uchronić zwierzę przed upadkiem. Te chwilowe zmiany sygnałów ruchu są odwracalne lub „elastyczne”, a wzorce ruchu powracają do swojej pierwotnej konfiguracji po zakłóceniu. Ale jeśli zwierzę nie przestaje potykać się w wielu cyklach ruchu – pomimo aktywnych odruchów – wtedy wzorce ruchowe muszą zostać na nowo wyuczone i uczynione „plastycznymi”, tj. nieodwracalnymi. U nowonarodzonych zwierząt CPG początkowo nie są jeszcze wystarczająco dobrze wyregulowane i zwierzę potyka się, zarówno na równym, jak i nierównym terenie. Ale zwierzę szybko uczy się, jak jego CPG i odruchy kontrolują mięśnie nóg i ścięgna.
To samo dotyczy robota-psa wielkości labradora o imieniu „Morti”. Co więcej, robot optymalizuje swoje wzorce ruchu szybciej niż zwierzę, w około godzinę. CPG Mortiego jest symulowane na małym i lekkim komputerze, który kontroluje ruch nóg robota. Ten wirtualny rdzeń kręgowy jest umieszczany na plecach czworonożnego robota w miejscu, w którym powinna znajdować się głowa. W ciągu godziny potrzebnej na płynne poruszanie się robota dane z czujników ze stóp robota są stale porównywane z oczekiwanym przyziemieniem przewidywanym przez CPG robota. Jeśli robot się potknie, algorytm uczący się zmienia, jak daleko kołyszą się nogi w przód iw tył, jak szybko kołyszą się nogi i jak długo noga leży na ziemi. Dostosowany ruch wpływa również na to, jak dobrze robot może wykorzystać podatną mechanikę nóg. Podczas procesu uczenia CPG wysyła dostosowane sygnały silnika, dzięki czemu robot odtąd mniej się potyka i optymalizuje chodzenie. W tym kontekście wirtualny rdzeń kręgowy nie ma wyraźnej wiedzy na temat konstrukcji nogi robota, jego silników i sprężyn. Nie wiedząc nic o fizyce maszyny, brakuje jej „modelu” robota.
„Nasz robot praktycznie się «rodzi», nie wiedząc nic o anatomii swojej nogi ani o tym, jak działają” — wyjaśnia Ruppert. „CPG przypomina wbudowaną automatyczną inteligencję chodzenia, którą zapewnia natura i którą przenieśliśmy do robota. Komputer wytwarza sygnały sterujące silnikami nóg, a robot początkowo chodzi i potyka się. Dane przepływają z powrotem z czujników do wirtualny rdzeń kręgowy, w którym porównywane są dane z czujnika i CPG Jeśli dane z czujnika nie są zgodne z oczekiwanymi danymi, algorytm uczenia zmienia zachowanie chodu, dopóki robot nie będzie chodził dobrze i bez potykania się. potykanie się robota jest podstawową częścią procesu uczenia się”.
Energooszczędna kontrola psa robota
Komputer Mortiego podczas chodzenia pobiera tylko pięć watów energii. Roboty przemysłowe czworonożne renomowanych producentów, które nauczyły się działać za pomocą skomplikowanych sterowników, są znacznie bardziej energochłonne. Ich kontrolery są kodowane z wiedzą o dokładnej masie robota i geometrii ciała – przy użyciu modelu robota. Zazwyczaj pobierają kilkadziesiąt, a nawet kilkaset watów mocy. Oba typy robotów działają dynamicznie i wydajnie, ale w modelu ze Stuttgartu zużycie energii obliczeniowej jest znacznie niższe. Dostarcza również ważnych informacji na temat anatomii zwierząt.
„Nie możemy łatwo zbadać rdzenia kręgowego żywego zwierzęcia. Ale możemy go wymodelować w robocie” – mówi Alexander Badri-Spröwitz, współautor publikacji wraz z Ruppertem i szef Dynamic Locomotion Research Group. „Wiemy, że te CPG istnieją u wielu zwierząt. Wiemy, że odruchy są osadzone; ale jak możemy połączyć oba, aby zwierzęta uczyły się ruchów za pomocą odruchów i CPG? To fundamentalne badania na przecięciu robotyki i biologii. Model robota daje nam odpowiedzi na pytania, na które sama biologia nie jest w stanie odpowiedzieć”.