Nowatorskie Memristors do przezwyciężenia katastrofalnego „zapominania” AI

Nowatorskie Memristors do przezwyciężenia katastrofalnego „zapominania” AI

Konsumują wyjątkowo niewielką moc i zachowują się podobnie do komórek mózgowych: tak zwane memristory. Naukowcy z Jülich, prowadzeni przez Ilia Valov, wprowadzili teraz nowe elementy memristive w komunikacji przyrodniczej, które oferują znaczące zalety w stosunku do poprzednich wersji: są bardziej solidne, funkcjonują w szerszym zakresie napięcia i mogą działać zarówno w trybach analogowych, jak i cyfrowych. Te właściwości mogą pomóc rozwiązać problem „katastrofalnego zapominania”, w których sztuczne sieci neuronowe nagle zapominają o wcześniejszych informacji.

Problem „katastrofalnego zapominania” występuje, gdy głębokie sieci neuronowe są przeszkoleni do nowego zadania. Wynika to z faktu, że nowa optymalizacja po prostu zastępuje poprzedni. Mózg nie ma tego problemu, ponieważ najwyraźniej może dostosować stopień zmiany synaptycznej; Eksperci mówią teraz również o tak zwanej „metaplastyczności”. Podejrzewają, że tylko dzięki tym różnym stopniu plastyczności nasz mózg może trwale nauczyć się nowych zadań bez zapominania starych treści. Nowy Memristor osiąga coś podobnego.

„Jego unikalne właściwości umożliwiają zastosowanie różnych trybów przełączania do kontrolowania modulacji memristora w taki sposób, że przechowywane informacje nie są utracone”, mówi Ilia Valov z Petera Grünberg Institute (PGI-7) w Forschungszentrum Jülich.

Idealni kandydaci na urządzenia inspirowane neuro

Nowoczesne układy komputerowe szybko ewoluują. Ich rozwój może uzyskać dalszy wzrost od Memristors – termin pochodzący z pamięci i rezystora. Te elementy są zasadniczo rezystorami z pamięcią: ich rezystancja elektryczna zmienia się w zależności od zastosowanego napięcia i w przeciwieństwie do konwencjonalnych elementów przełączania, ich wartość rezystancyjna pozostaje nawet po wyłączeniu napięcia. Wynika to z faktu, że memristory mogą poddać się zmianom strukturalnym – na przykład z powodu atomów osadzających się na elektrodach.

„Elementy pamięci są uważane za idealnych kandydatów do uczenia się do uczenia się, inspirowanych neuro komponentami komputerowymi modelowanymi na mózgu”, mówi Ilia Valov.

Pomimo znacznego postępu i wysiłków komercjalizacja komponentów rozwija się wolniej niż oczekiwano. Wynika to w szczególności z często wysokiego wskaźnika awarii w produkcji i krótkiej żywotności produktów. Ponadto są one wrażliwe na wytwarzanie ciepła lub wpływy mechaniczne, co może prowadzić do częstych awarii podczas pracy. „Badania podstawowe są zatem niezbędne do lepszego kontrolowania procesów nanoskali” – mówi Valov, który od wielu lat pracuje w tej dziedzinie memristorów. „Potrzebujemy nowych materiałów i mechanizmów przełączania, aby zmniejszyć złożoność systemów i zwiększyć zakres funkcji”.

Właśnie w tym względzie chemika i naukowiec, wraz z niemieckimi i chińskimi kolegami, był w stanie zgłosić ważny sukces: „Odkryliśmy zasadniczo nowy elektrochemiczny mechanizm memristive, który jest chemicznie i elektrycznie bardziej stabilny”, wyjaśnia Valov. Rozwój został zaprezentowany w czasopiśmie Nature Communications.

Nowy mechanizm memristorów

„Do tej pory zidentyfikowano dwa główne mechanizmy do funkcjonowania tak zwanych bipolarnych memristorów: ECM i VCM”, wyjaśnia Valov. ECM oznacza „metalizację elektrochemiczną” i VCM dla „mechanizmu zmiany wartościowości”.

ECM Memristors tworzą metaliczny włókno między dwiema elektrodami – niewielki „przewodzący most”, który zmienia rezystancję elektryczną i rozpuszcza się ponownie po odwróceniu napięcia. Krytycznym parametrem tutaj jest bariera energetyczna (oporność) reakcji elektrochemicznej. Ta konstrukcja pozwala na niskie napięcia przełączające i szybkie czasy przełączania, ale wygenerowane stany są zmienne i stosunkowo krótkotrwałe. Memristory VCMz drugiej strony, nie zmieniają oporu poprzez ruch jonów metali, ale raczej poprzez ruch jonów tlenu na interfejsie między elektrodą a elektrolitem-poprzez modyfikowanie tak zwanej bariery Schottky. Proces ten jest stosunkowo stabilny, ale wymaga wysokich napięć przełączania.

Każdy typ Memristor ma swoje zalety i wady. „Dlatego zastanawialiśmy się nad zaprojektowaniem memristora, który łączy korzyści obu typów”, wyjaśnia Ilia Valov. Wśród ekspertów było to wcześniej uważane za niemożliwe. „Nasz nowy Memristor opiera się na zupełnie innej zasadzie: wykorzystuje filament wykonany z tlenków metali zamiast czysto metalicznego, takiego jak ECM”, wyjaśnia Valov. Ten żarnik powstaje w wyniku ruchu jonów tlenu i tantalu i jest wysoce stabilny – nigdy w pełni rozpuszcza się. „Możesz myśleć o tym jako o filamencie, który zawsze istnieje do pewnego stopnia i jest tylko modyfikowany chemicznie”, mówi Valov.

Nowatorski mechanizm przełączania jest zatem bardzo solidny. Naukowcy nazywają go również mechanizmem modyfikacji przewodności filamentu (FCM). Składniki oparte na tym mechanizmie mają kilka zalet: są chemicznie i elektrycznie bardziej stabilne, bardziej odporne na wysokie temperatury, mają szersze okno napięcia i wymagają niższych napięć do wytworzenia. W rezultacie mniej komponentów wypala podczas procesu produkcyjnego, szybkość odrzucania jest niższa, a ich długość życia jest dłuższa.

Perspektywiczne rozwiązanie „katastrofalnego zapominania”

Ponadto różne stany utleniania umożliwiają obsługę memristora w trybie binarnym i/lub analogowym. Podczas gdy sygnały binarne są cyfrowe i mogą wyświetlać tylko dwa stany, sygnały analogowe są ciągłe i mogą przybierać dowolną wartość pośrednią. Ta kombinacja zachowań analogowych i cyfrowych jest szczególnie interesująca dla układów neuromorficznych, ponieważ może pomóc w przezwyciężeniu problemu „katastrofalnego zapominania”: głębokie sieci neuronowe usuwają to, czego się nauczyli, gdy są przeszkoleni do nowego zadania. Wynika to z faktu, że nowa optymalizacja po prostu zastępuje poprzedni.

Mózg nie ma tego problemu, ponieważ najwyraźniej może dostosować stopień zmiany synaptycznej; Eksperci mówią teraz również o tak zwanej „metaplastyczności”. Podejrzewają, że tylko dzięki tym różnym stopniu plastyczności nasz mózg może trwale nauczyć się nowych zadań bez zapominania starych treści. Nowy Memristor Ohmic osiąga coś podobnego. „Jego unikalne właściwości pozwalają na użycie różnych trybów przełączania do kontrolowania modulacji memristora w taki sposób, że przechowywane informacje nie są utracone”, mówi Valov.

Naukowcy wdrożyli już nowy element memristive w modelu sztucznej sieci neuronowej w symulacji. W kilku zestawach obrazów system osiągnął wysoki poziom dokładności rozpoznawania wzorców. W przyszłości zespół chce szukać innych materiałów dla memristorów, które mogą działać jeszcze lepiej i stabilniej niż przedstawiona tutaj wersja. „Nasze wyniki będą dalej rozwijać rozwój elektroniki do zastosowań„ obliczeń w pamięci ””, jest pewien Valov.

Click to rate this post!
[Total: 0 Average: 0]
science