Niewielki region mózgu, znany jako brzuszny obszar podkładowy (VTA), odgrywa kluczową rolę w przetwarzaniu nagród. Produkuje dopaminę, neuromodulator, który pomaga przewidzieć przyszłe nagrody oparte na wskazówkach kontekstowych. Zespół z uniwersytetów Genewy (Unige), Harvard i McGill wykazali, że VTA idzie jeszcze dalej: koduje nie tylko przewidywaną nagrodę, ale także dokładny moment, w jaki się spodziewano. To odkrycie, możliwe dzięki algorytmowi uczenia maszynowego, podkreśla wartość łączenia sztucznej inteligencji z neuronauki. Badanie zostało opublikowane w czasopiśmie Nature.
Brzuszny obszar tegmentacyjny (VTA) odgrywa kluczową rolę w motywacji i obwodzie nagrody mózgu. Główne źródło dopaminy, ten mały klaster neuronów wysyła ten neuromodulator do innych obszarów mózgu, aby wywołać działanie w odpowiedzi na dodatni bodziec.
„Początkowo uważano, że VTA jest jedynie centrum nagrody mózgu. Ale w latach 90. naukowcy odkryli, że nie koduje ono nagrody, ale raczej przewidywanie nagrody” – wyjaśnia Alexandre Pouget, pełny profesor na Wydziale Podstawowej neurosciencji w zakresie medycyny Unige.
Eksperymenty na zwierząt wykazały, że gdy nagroda konsekwentnie podąża za sygnałem świetlnym, na przykład VTA ostatecznie uwalnia dopaminę nie w momencie nagrody, ale jak tylko pojawi się sygnał. Ta odpowiedź koduje zatem przewidywanie nagrody – powiązanej z sygnałem – a nie samą nagrodą.
Znacznie bardziej wyrafinowana funkcja
To „uczenie się wzmocnienia”, które wymaga minimalnego nadzoru, ma kluczowe znaczenie dla uczenia się ludzi. Jest to również zasada wielu algorytmów sztucznej inteligencji, które poprawiają wydajność poprzez trening – takie jak Alphago, pierwszy algorytm, który pokonał mistrza świata w grze Go.
W ostatnim badaniu zespół Alexandre Pouget, we współpracy z Naoshige Uchida z Harvard University i Paul Masset z McGill University, pokazuje, że kodowanie VTA jest jeszcze bardziej wyrafinowane niż wcześniej sądzono. „Zamiast przewidywać ważoną sumę przyszłych nagród, VTA przewiduje ich czasową ewolucję. Innymi słowy, każdy wzmocnienie jest reprezentowany osobno, z dokładnym momentem, w którym oczekuje się” – wyjaśnia badacz Unige, który prowadził tę pracę.
„Chociaż wiedzieliśmy, że neurony VTA priorytetowo traktowały nagrody bliskie w czasie nad tymi w przyszłości – zasada ptaka w dłoni jest warta dwóch w buszu – odkryliśmy, że różne neurony robią to w różnych skalach czasowych, z pewnym skupieniem się na nagrody w kilku sekundach, inni na nagrodę oczekiwanej w czasie minuty, a inne na bardziej odległym hol. Reprezentacja zapewnia systemowi uczenia się duża elastyczność, umożliwiając mu dostosowanie się w celu maksymalizacji natychmiastowych lub opóźnionych nagród, w zależności od celów i priorytetów jednostki ”.
AI i Neuroscience: dwukierunkowa ulica
Odkrycia te wynikają z owocnego dialogu między neuronauki a sztuczną inteligencją. Alexandre Pouget opracował czysto matematyczny algorytm, który obejmuje czas przetwarzania nagrody. Tymczasem badacze Harvarda zebrali obszerne dane neurofizjologiczne na temat aktywności VTA u zwierząt doświadczających nagród.
„Następnie zastosowali nasz algorytm do swoich danych i stwierdzili, że wyniki idealnie pasowały do ich wyników empirycznych”. Podczas gdy mózg inspiruje AI i techniki uczenia maszynowego, wyniki te pokazują, że algorytmy mogą również służyć jako potężne narzędzia do ujawnienia naszych mechanizmów neurofizjologicznych.