Luka Mlinar / Android Authority Jeśli czytałeś coś o najnowocześniejszych chatbotach AI, takich jak ChatGPT i Google Bard, prawdopodobnie spotkałeś się z terminem duże modele językowe (LLM). Rodzina LLM OpenAI GPT napędza ChatGPT, podczas gdy Google używa LaMDA do swojego chatbota Bard. Pod maską są to potężne modele uczenia maszynowego, które mogą generować naturalnie brzmiący tekst. Jednak, jak to zwykle bywa w przypadku nowych technologii, nie wszystkie duże modele językowe są sobie równe. W tym artykule przyjrzyjmy się bliżej LaMDA — dużemu modelowi językowemu, który napędza chatbota Google Bard.
Co to jest Google LaMDA?
LaMDA to model języka konwersacyjnego opracowany całkowicie wewnętrznie w Google. Można o nim myśleć jako o bezpośrednim rywalu GPT-4 — najnowocześniejszym modelu językowym OpenAI. Termin LaMDA oznacza Language Model for Dialogue Applications. Jak można się domyślić, oznacza to, że model został specjalnie zaprojektowany do naśladowania ludzkiego dialogu. Kiedy Google po raz pierwszy zaprezentował swój duży model językowy w 2020 roku, nie nazywał się on LaMDA. W tamtym czasie znaliśmy to jako Meena — konwersacyjną sztuczną inteligencję wyszkoloną na około 40 miliardach słów. Wczesne demo pokazało, że model jest w stanie opowiadać dowcipy całkowicie samodzielnie, bez odwoływania się do bazy danych lub wstępnie zaprogramowanej listy. Google zamierza przedstawić swój model językowy jako LaMDA szerszej publiczności podczas corocznego przemówienia I/O w 2021 r. Firma powiedziała, że LaMDA została przeszkolona w zakresie ludzkich rozmów i historii. Dzięki temu brzmiał bardziej naturalnie, a nawet przybierał różne postacie — na przykład LaMDA mógł udawać, że przemawia w imieniu Plutona, a nawet papierowego samolotu. LaMDA może generować tekst podobny do ludzkiego, podobnie jak ChatGPT. Poza generowaniem dialogów przypominających ludzkie, LaMDA różniło się od istniejących chatbotów tym, że mogło nadać priorytet sensownym i interesującym odpowiedziom. Na przykład unika ogólnych odpowiedzi, takich jak „OK” lub „Nie jestem pewien”. Zamiast tego LaMDA nadaje priorytet pomocnym sugestiom i dowcipnym ripostom. Zgodnie z postem na blogu Google na temat LaMDA, dokładność faktów była dużym problemem, ponieważ istniejące chatboty generowały sprzeczny lub wręcz fikcyjny tekst, gdy pytano go o nowy temat. Aby zapobiec rozprzestrzenianiu się dezinformacji w modelu językowym, firma pozwoliła na pozyskiwanie faktów z zewnętrznych źródeł informacji. Ta tak zwana LaMDA drugiej generacji może przeszukiwać Internet w poszukiwaniu informacji, tak jak człowiek.
Jak trenowano LaMDA?
Zanim porozmawiamy konkretnie o LaMDA, warto porozmawiać o tym, jak ogólnie działają nowoczesne modele językowe. Modele GPT LaMDA i OpenAI opierają się na architekturze głębokiego uczenia się firmy Google z 2017 r. Transformatory zasadniczo umożliwiają modelowi „czytanie” wielu słów naraz i analizowanie ich wzajemnego powiązania. Uzbrojony w tę wiedzę wyszkolony model może przewidywać łączenie słów i tworzyć zupełnie nowe zdania. Jeśli chodzi konkretnie o LaMDA, jego szkolenie odbywało się w dwóch etapach:
Trening wstępny: W pierwszym etapie LaMDA zostało przeszkolone na zbiorze danych zawierającym 1,56 biliona słów, pochodzących z „publicznych danych dialogowych i tekstu internetowego”. Według Google, LaMDA używała zestawu danych 40 razy większego niż poprzednie modele językowe firmy.
Strojenie: Kuszące jest myślenie, że modele językowe, takie jak LaMDA, będą działać lepiej, jeśli po prostu zasilisz je większą ilością danych. Jednak niekoniecznie tak jest. Według badaczy Google, dostrajanie było znacznie skuteczniejsze w poprawie bezpieczeństwa modelu i dokładności faktycznej. Mierzy bezpieczeństwo, jak często model generuje potencjalnie szkodliwy tekst, w tym obelgi i polaryzujące opinie. Na etapie dostrajania firma Google zwerbowała ludzi do rozmów z LaMDA i oceny jej wydajności. Gdyby odpowiedział w potencjalnie szkodliwy sposób, pracownik ludzki opisałby rozmowę i oceniłby odpowiedź. Ostatecznie to precyzyjne dostrojenie poprawiło jakość odpowiedzi LaMDA daleko poza początkowy stan przed wytrenowaniem.
Na powyższym zrzucie ekranu możesz zobaczyć, jak dopracowanie poprawiło model językowy Google. Środkowa kolumna pokazuje, jak zareagowałby podstawowy model, podczas gdy prawa wskazuje na współczesną LaMDA po dopracowaniu.
LaMDA vs GPT-3 i ChatGPT: czy model językowy Google jest lepszy?
Edgar Cervantes / Android Authority Na papierze LaMDA konkuruje z modelami językowymi GPT-3 i GPT-4 OpenAI. Jednak Google nie dał nam możliwości bezpośredniego dostępu do LaMDA — można z niego korzystać tylko przez Bard, który jest przede wszystkim towarzyszem wyszukiwania, a nie generatorem tekstu ogólnego przeznaczenia. Z drugiej strony każdy może uzyskać dostęp do GPT-3 za pośrednictwem interfejsu API OpenAI. Podobnie ChatGPT to nie to samo, co GPT-3 lub nowsze modele OpenAI. ChatGPT jest rzeczywiście oparty na GPT-3.5, ale został dodatkowo dopracowany, aby naśladować ludzkie rozmowy. Pojawił się również kilka lat po pierwszym debiucie GPT-3 tylko dla programistów. Jak więc LaMDA wypada w porównaniu z GPT-3? Oto krótkie podsumowanie najważniejszych różnic:
Wiedza i dokładność: LaMDA może uzyskać dostęp do Internetu w celu uzyskania najnowszych informacji, podczas gdy zarówno GPT-3, jak i nawet GPT-4 mają daty graniczne wiedzy na wrzesień 2021 r. Zapytane o bardziej aktualne wydarzenia modele te mogą generować fikcyjne odpowiedzi.
Dane treningowe: Zestaw danych szkoleniowych LaMDA składał się głównie z dialogów, podczas gdy GPT-3 wykorzystywał wszystko, od wpisów w Wikipedii po tradycyjne książki. To sprawia, że GPT-3 jest bardziej uniwersalny i można go dostosować do aplikacji takich jak ChatGPT.
Szkolenie ludzi: w poprzedniej sekcji mówiliśmy o tym, jak Google zatrudnił pracowników, aby dopracować swój model pod kątem bezpieczeństwa i jakości. Natomiast GPT-3 OpenAI nie otrzymał żadnego ludzkiego nadzoru ani dopracowania. To zadanie należy do programistów lub twórców aplikacji, takich jak ChatGPT i Bing Chat.
Czy mogę porozmawiać z LaMDA?
W tym momencie nie możesz rozmawiać bezpośrednio z LaMDA. W przeciwieństwie do GPT-3 i GPT-4, Google nie oferuje interfejsu API, którego można użyć do interakcji z jego modelem językowym. Aby obejść ten problem, możesz porozmawiać z Bardem — chatbotem Google opartym na sztucznej inteligencji, zbudowanym na LaMDA. Jest jednak pewien haczyk. Nie możesz zobaczyć wszystkiego, co LaMDA ma do zaoferowania przez Bard. Został oczyszczony i dopracowany tak, aby służył wyłącznie jako towarzysz poszukiwań. Na przykład, podczas gdy własny artykuł badawczy Google wykazał, że model może odpowiadać w kilku językach, Bard obsługuje obecnie tylko angielski. To ograniczenie jest prawdopodobnie spowodowane tym, że Google zatrudnił anglojęzycznych „crowdworkerów” z USA, aby dostroić LaMDA pod kątem bezpieczeństwa. zniesiono ograniczenie. Podobnie, gdy Google będzie bardziej pewny swojej technologii, LaMDA pojawi się w Gmailu, Dysku, wyszukiwarce i innych aplikacjach.
Często zadawane pytania
Czy Google LaMDA jest świadomy? LaMDA trafiło na pierwsze strony gazet, gdy inżynier Google stwierdził, że model jest świadomy, ponieważ może naśladować człowieka lepiej niż jakikolwiek wcześniejszy chatbot. Jednak firma utrzymuje, że jej model językowy nie posiada wrażliwości. Czy LaMDA zda test Turinga? Tak, wielu ekspertów uważa, że LaMDA może zdać test Turinga. Test służy do sprawdzenia, czy system komputerowy posiada inteligencję podobną do ludzkiej. Jednak niektórzy twierdzą, że LaMDA ma tylko zdolność przekonania ludzi, że jest inteligentna, a nie posiada rzeczywistą inteligencję. Co oznacza LaMDA? LaMDA to skrót od Language Model for Dialogue Applications. To duży model językowy opracowany przez Google. Uwagi