Inżynierowie z Northwestern University opracowali nowy algorytm sztucznej inteligencji (AI), zaprojektowany specjalnie na potrzeby inteligentnej robotyki. Pomagając robotom szybko i niezawodnie uczyć się złożonych umiejętności, nowa metoda może znacznie poprawić praktyczność – i bezpieczeństwo – robotów do szeregu zastosowań, w tym samochodów autonomicznych, dronów dostawczych, asystentów domowych i automatyzacji.
Algorytm, nazywany uczeniem się przez maksymalne wzmocnienie dyfuzyjne (MaxDiff RL), sukces algorytmu polega na jego zdolności do zachęcania robotów do możliwie losowego eksplorowania otoczenia w celu zdobycia różnorodnego zestawu doświadczeń. Ta „zaprojektowana losowość” poprawia jakość danych zbieranych przez roboty na temat ich własnego otoczenia. Wykorzystując dane wyższej jakości, symulowane roboty wykazały szybsze i skuteczniejsze uczenie się, poprawiając swoją ogólną niezawodność i wydajność.
W testach z innymi platformami sztucznej inteligencji symulowane roboty korzystające z nowego algorytmu firmy Northwestern konsekwentnie osiągały lepsze wyniki niż najnowocześniejsze modele. Nowy algorytm działa tak dobrze, że roboty nauczyły się nowych zadań, a następnie pomyślnie je wykonały za jednym razem – robiąc to dobrze za pierwszym razem. Stanowi to wyraźny kontrast w stosunku do obecnych modeli sztucznej inteligencji, które umożliwiają wolniejsze uczenie się metodą prób i błędów.
Wyniki badania zostaną opublikowane w czwartek (2 maja) w czasopiśmie Nature Machine Intelligence.
„Inne struktury sztucznej inteligencji mogą być nieco zawodne” – powiedział Thomas Berrueta z Northwestern, który kierował badaniem. „Czasami całkowicie uda im się wykonać zadanie, ale innym razem całkowicie im się to nie uda. Dzięki naszemu frameworkowi, o ile robot w ogóle jest w stanie rozwiązać zadanie, za każdym razem, gdy go włączysz, możesz oczekiwać, że to zrobi dokładnie to, o co go poproszono. Ułatwia to interpretację sukcesów i porażek robotów, co ma kluczowe znaczenie w świecie coraz bardziej zależnym od sztucznej inteligencji”.
Berrueta jest stypendystą prezydenta w Northwestern i doktorem. kandydat na inżynierię mechaniczną w McCormick School of Engineering. Głównym autorem artykułu jest ekspert w dziedzinie robotyki Todd Murphey, profesor inżynierii mechanicznej w firmie McCormick i doradca Berruety. Berrueta i Murphey są współautorami artykułu wraz z Allison Pinosky, również doktorantką. kandydat w laboratorium Murpheya.
Bezcielesne rozłączenie
Aby wytrenować algorytmy uczenia maszynowego, badacze i programiści wykorzystują duże ilości dużych zbiorów danych, które ludzie starannie filtrują i selekcjonują. Sztuczna inteligencja uczy się na podstawie tych danych szkoleniowych, metodą prób i błędów, aż osiągnie optymalne wyniki. Chociaż proces ten działa dobrze w przypadku systemów bezcielesnych, takich jak ChatGPT i Google Gemini (dawniej Bard), nie działa on w przypadku systemów ucieleśnionej sztucznej inteligencji, takich jak roboty. Zamiast tego roboty same zbierają dane – bez luksusu ludzkich kuratorów.
„Tradycyjne algorytmy nie są kompatybilne z robotyką na dwa różne sposoby” – powiedział Murphey. „Po pierwsze, systemy bezcielesne mogą wykorzystać świat, w którym nie obowiązują prawa fizyczne. Po drugie, indywidualne awarie nie mają konsekwencji. W zastosowaniach informatycznych liczy się tylko to, że w większości przypadków kończą się sukcesem. W robotyce jedna awaria mogłoby być katastrofalne.”
Aby rozwiązać ten problem, Berrueta, Murphey i Pinosky postanowili opracować nowatorski algorytm, który zapewni, że roboty będą zbierać wysokiej jakości dane w dowolnym miejscu. W swojej istocie MaxDiff RL nakazuje robotom bardziej losowe poruszanie się w celu gromadzenia dokładnych, różnorodnych danych o ich środowiskach. Ucząc się poprzez samodzielnie wybrane losowe doświadczenia, roboty nabywają umiejętności niezbędne do wykonywania przydatnych zadań.
Udało się za pierwszym razem
Aby przetestować nowy algorytm, naukowcy porównali go z obecnymi, najnowocześniejszymi modelami. Korzystając z symulacji komputerowych, badacze poprosili symulowane roboty o wykonanie szeregu standardowych zadań. Ogólnie rzecz biorąc, roboty korzystające z MaxDiff RL uczyły się szybciej niż inne modele. Wykonywali także zadania poprawnie i znacznie konsekwentniej i rzetelniej niż pozostali.
Być może nawet bardziej imponujące: robotom korzystającym z metody MaxDiff RL często udało się poprawnie wykonać zadanie za jednym razem. I to nawet wtedy, gdy zaczynali bez wiedzy.
„Nasze roboty były szybsze i bardziej zwinne – potrafiły skutecznie uogólniać to, czego się nauczyły i stosować je w nowych sytuacjach” – powiedział Berrueta. „W rzeczywistych zastosowaniach, w których roboty nie mogą sobie pozwolić na niekończący się czas prób i błędów, jest to ogromna korzyść”.
Ponieważ MaxDiff RL jest algorytmem ogólnym, można go używać do różnych zastosowań. Naukowcy mają nadzieję, że rozwiąże to podstawowe problemy utrudniające tę dziedzinę, ostatecznie torując drogę do niezawodnego podejmowania decyzji w inteligentnej robotyce.
„Nie trzeba tego stosować tylko w przypadku poruszających się pojazdów-robotów” – powiedział Pinosky. „Można go również zastosować w robotach stacjonarnych – takich jak ramię robota w kuchni, które uczy się, jak ładować zmywarkę. W miarę jak zadania i środowisko fizyczne stają się coraz bardziej skomplikowane, rola ucieleśnienia staje się jeszcze ważniejsza w procesie uczenia się To ważny krok w kierunku rzeczywistych systemów, które wykonują bardziej skomplikowane i ciekawsze zadania”.
Badanie zatytułowane „Uczenie się przez maksymalne wzmocnienie dyfuzji” zostało wsparte przez Biuro Badań Armii Stanów Zjednoczonych (numer grantu W911NF-19-1-0233) i Biuro Badań Marynarki Wojennej Stanów Zjednoczonych (numer grantu N00014-21-1-2706).