Po raz pierwszy wykazano, że fizyczna sieć neuronowa uczy się i zapamiętuje „w locie” w sposób inspirowany działaniem neuronów mózgu i do niego podobny.
Wynik otwiera drogę do opracowania wydajnej i niskoenergetycznej inteligencji maszynowej do bardziej złożonych, rzeczywistych zadań związanych z uczeniem się i zapamiętywaniem.
Wyniki badań, opublikowane dzisiaj w Nature Communications, są efektem współpracy naukowców z Uniwersytetu w Sydney i Uniwersytetu Kalifornijskiego w Los Angeles.
Główny autor Ruomin Zhu, doktorant z Instytutu Nano i Szkoły Fizyki Uniwersytetu w Sydney, powiedział: „Odkrycia pokazują, w jaki sposób inspirowane mózgiem funkcje uczenia się i pamięci wykorzystujące sieci nanoprzewodowe można wykorzystać do przetwarzania dynamicznych, przesyłanych strumieniowo danych”.
Sieci nanoprzewodowe składają się z maleńkich drutów o średnicy zaledwie miliardowych części metra. Druty układają się we wzory przypominające dziecięcą grę „Pick Up Sticks”, naśladując sieci neuronowe, takie jak te w naszych mózgach. Sieci te można wykorzystać do wykonywania określonych zadań przetwarzania informacji.
Zadania związane z pamięcią i uczeniem się realizowane są za pomocą prostych algorytmów, które reagują na zmiany oporu elektronicznego w złączach, w których nanodruty zachodzą na siebie. Funkcja ta, znana jako „rezystancyjne przełączanie pamięci”, jest tworzona, gdy sygnały wejściowe elektryczne napotykają zmiany w przewodności, podobne do tego, co dzieje się z synapsami w naszym mózgu.
W tym badaniu naukowcy wykorzystali sieć do rozpoznawania i zapamiętywania sekwencji impulsów elektrycznych odpowiadających obrazom, inspirowanych sposobem, w jaki ludzki mózg przetwarza informacje.
Nadzorująca badaczka profesor Zdenka Kuncic stwierdziła, że zadanie pamięciowe jest podobne do zapamiętywania numeru telefonu. Sieć wykorzystano także do wykonania zadania wzorcowego rozpoznawania obrazów, uzyskując dostęp do obrazów w bazie danych MNIST zawierającej cyfry pisane odręcznie, będącej zbiorem 70 000 obrazów w małej skali szarości wykorzystywanych w uczeniu maszynowym.
„Nasze poprzednie badania wykazały zdolność sieci nanoprzewodowych do zapamiętywania prostych zadań. Ta praca rozszerzyła te ustalenia, pokazując, że zadania można wykonywać przy użyciu dynamicznych danych dostępnych w Internecie” – powiedziała.
„To znaczący krok naprzód, ponieważ osiągnięcie możliwości uczenia się online stanowi wyzwanie w przypadku dużych ilości danych, które mogą ulegać ciągłym zmianom. Standardowym podejściem byłoby przechowywanie danych w pamięci, a następnie wytrenowanie modelu uczenia maszynowego przy użyciu tych przechowywanych informacji. Ale to pochłonęłoby zbyt dużo energii, aby można było je zastosować na szeroką skalę.
„Nasze nowatorskie podejście pozwala nanoprzewodowej sieci neuronowej uczyć się i zapamiętywać „w locie”, próbka po próbce, wyodrębniając dane online, unikając w ten sposób dużego zużycia pamięci i energii”.
Zhu powiedział, że przetwarzanie informacji online ma inne zalety.
„Jeśli dane są przesyłane strumieniowo w sposób ciągły, na przykład z czujnika, uczenie maszynowe oparte na sztucznych sieciach neuronowych musiałoby mieć możliwość dostosowywania się w czasie rzeczywistym, do czego obecnie nie jest zoptymalizowane” – powiedział.
W tym badaniu nanoprzewodowa sieć neuronowa wykazała wzorcowe możliwości uczenia maszynowego, uzyskując 93,4% punktów w zakresie prawidłowej identyfikacji obrazów testowych. Zadanie pamięciowe polegało na przypominaniu sobie sekwencji składających się z maksymalnie ośmiu cyfr. W przypadku obu zadań dane przesyłano strumieniowo do sieci, aby zademonstrować ich zdolność do uczenia się online i pokazać, jak pamięć wspomaga tę naukę.