W Star Trek: Następne pokolenie Kapitan Picard i załoga USS Enterprise wykorzystują holodeck, puste pomieszczenie zdolne do generowania środowisk 3D, aby przygotować się do misji i zapewnić sobie rozrywkę, symulując wszystko, od bujnej dżungli po Londyn Sherlocka Holmesa . Głęboko wciągające i w pełni interaktywne środowiska stworzone za pomocą holodeku można w nieskończoność dostosowywać przy użyciu wyłącznie języka: załoga musi jedynie poprosić komputer o wygenerowanie środowiska, a przestrzeń pojawi się w holodeku.
Obecnie wirtualne, interaktywne środowiska są również wykorzystywane do szkolenia robotów przed ich wdrożeniem w świecie rzeczywistym w procesie zwanym „Sim2Real”. Jednakże, ilość wirtualnych interaktywnych środowisk jest zaskakująco mała. „Artyści ręcznie tworzą takie środowiska” – mówi Yue Yang, doktorantka w laboratoriach Marka Yatskara i Chrisa Callisona-Burcha, profesorów adiunktów i profesorów nadzwyczajnych w dziedzinie informatyki i informatyki (CIS). „Ci artyści mogliby spędzić tydzień, budując jedno środowisko” – dodaje Yang, odnotowując wszystkie związane z tym decyzje, od układu przestrzeni, przez rozmieszczenie obiektów, po kolory użyte do renderowania.
Niedobór środowisk wirtualnych stanowi problem, jeśli chcesz wyszkolić roboty do poruszania się po prawdziwym świecie ze wszystkimi jego złożonościami. Sieci neuronowe, czyli systemy napędzające dzisiejszą rewolucję AI, wymagają ogromnych ilości danych, co w tym przypadku oznacza symulacje świata fizycznego. „Generatywne systemy sztucznej inteligencji, takie jak ChatGPT, są szkolone na bilionach słów, a generatory obrazów, takie jak Midjourney i DALLE, są szkolone na miliardach obrazów” – mówi Callison-Burch. „Mamy tylko ułamek tej liczby środowisk 3D do szkolenia tak zwanej „ucieleśnionej sztucznej inteligencji”. Jeśli chcemy wykorzystać techniki generatywnej sztucznej inteligencji do opracowania robotów, które będą mogły bezpiecznie poruszać się w środowiskach rzeczywistych, będziemy musieli stworzyć miliony lub miliardy symulowanych środowisk”.
Poznaj Holodeck, system do generowania interaktywnych środowisk 3D, którego współautorami są Callison-Burch, Yatskar, Yang i Lingjie Liu, Aravind K. Joshi adiunkt w CIS wraz ze współpracownikami ze Stanford, Uniwersytetu Waszyngtońskiego i Allen Institute for Sztuczna inteligencja (AI2). Nazwany na cześć swojego poprzednika ze Star Trek, Holodeck generuje praktycznie nieograniczoną gamę środowisk wewnętrznych, wykorzystując sztuczną inteligencję do interpretowania żądań użytkowników. „Możemy kontrolować to za pomocą języka” – mówi Yang. „Możesz łatwo opisać dowolne środowiska i wyszkolić wcielonych agentów AI”.
Holodeck wykorzystuje wiedzę zawartą w dużych modelach językowych (LLM), systemach leżących u podstaw ChatGPT i innych chatbotów. „Język jest bardzo zwięzłą reprezentacją całego świata” – mówi Yang. Rzeczywiście, studenci LLM okazują się mieć zaskakująco wysoki poziom wiedzy na temat projektowania przestrzeni, dzięki ogromnej ilości tekstu, który przyswajają podczas szkoleń. Zasadniczo Holodeck działa poprzez angażowanie LLM w rozmowę, wykorzystując starannie uporządkowaną serię ukrytych zapytań w celu podzielenia żądań użytkowników na określone parametry.
Tak jak Kapitan Picard może poprosić Holodeck ze Star Trek o symulację lokalu, tak badacze mogą poprosić Holodeck Penna o stworzenie „mieszkania 1b1b dla badacza, który ma kota”. System realizuje to zapytanie, dzieląc je na kilka etapów: najpierw tworzona jest podłoga i ściany, następnie drzwi i okna. Następnie Holodeck przeszukuje Objaverse, ogromną bibliotekę gotowych obiektów cyfrowych, w poszukiwaniu mebli, jakich można się spodziewać w takiej przestrzeni: stolika kawowego, wieży dla kota i tak dalej. Na koniec Holodeck pyta o moduł układu, który badacze zaprojektowali w celu ograniczenia rozmieszczenia obiektów, tak aby toaleta nie wystawała poziomo ze ściany.
Aby ocenić możliwości Holodecka pod względem realizmu i dokładności, badacze wygenerowali 120 scen przy użyciu Holodeck i ProcTHOR, wcześniejszego narzędzia stworzonego przez AI2, i poprosili kilkuset studentów Penn Engineering o wskazanie preferowanej wersji, nie wiedząc, które sceny zostały utworzone za pomocą jakich narzędzi. Dla każdego kryterium – wyboru zasobów, spójności układu i ogólnych preferencji – uczniowie konsekwentnie oceniali środowiska generowane przez Holodeck bardziej przychylnie.
Naukowcy przetestowali także zdolność Holodecka do generowania scen, które są mniej typowe w badaniach nad robotyką i trudniejsze do ręcznego stworzenia niż wnętrza mieszkań, takie jak sklepy, przestrzenie publiczne i biura. Porównując wyniki programu Holodeck z wynikami programu ProcTHOR, które zostały wygenerowane przy użyciu reguł stworzonych przez człowieka, a nie tekstu wygenerowanego przez sztuczną inteligencję, badacze po raz kolejny odkryli, że osoby oceniające wolały sceny stworzone przez Holodeck. Ta preferencja dotyczy szerokiej gamy środowisk wewnętrznych, od laboratoriów naukowych po pracownie artystyczne, szatnie i piwnice z winami.
Na koniec badacze wykorzystali sceny wygenerowane przez Holodeck, aby „dostroić” wcielonego agenta AI. „Ostatecznym testem Holodeck” – mówi Yatskar – „polega na użyciu go, aby pomóc robotom w bezpieczniejszej interakcji z otoczeniem, przygotowując je do zamieszkania w miejscach, w których nigdy wcześniej nie były”.
W wielu typach przestrzeni wirtualnych, w tym w biurach, przedszkolach, salach gimnastycznych i salonach gier, Holodeck miał wyraźny i pozytywny wpływ na zdolność agenta do poruszania się po nowych przestrzeniach.
Na przykład, podczas gdy agentowi udało się znaleźć pianino w pokoju muzycznym tylko w około 6% przypadków po wstępnym przeszkoleniu przy użyciu ProcTHOR (co wymagało wykonania przez agenta około 400 milionów wirtualnych kroków), agentowi udało się to w ponad 30% przypadków, gdy dostrojone przy użyciu 100 pokoi muzycznych generowanych przez Holodeck.
„W tej dziedzinie od dawna utknęliśmy, prowadząc badania w przestrzeniach mieszkalnych” – mówi Yang. „Ale istnieje tak wiele różnorodnych środowisk – wydajne generowanie wielu środowisk do szkolenia robotów zawsze było dużym wyzwaniem, ale Holodeck zapewnia tę funkcjonalność”.