Naukowcy wyszkolili robotycznego „szefa kuchni”, aby oglądał i uczył się z filmów o gotowaniu oraz odtwarzał samo danie.
Naukowcy z University of Cambridge zaprogramowali swojego robota-kucharza za pomocą „książki kucharskiej” z ośmioma prostymi przepisami na sałatki. Po obejrzeniu filmu, na którym człowiek demonstruje jeden z przepisów, robot był w stanie zidentyfikować, który przepis jest przygotowywany i go przygotować.
Ponadto filmy pomogły robotowi stopniowo dodawać do swojej książki kucharskiej. Pod koniec eksperymentu robot sam wymyślił dziewiąty przepis. Ich wyniki, opisane w czasopiśmie IEEE Access, pokazują, w jaki sposób treści wideo mogą być cennym i bogatym źródłem danych do zautomatyzowanej produkcji żywności oraz mogą umożliwić łatwiejsze i tańsze wdrażanie robotów-kucharzy.
Zrobotyzowani szefowie kuchni pojawiają się w science fiction od dziesięcioleci, ale w rzeczywistości gotowanie jest wyzwaniem dla robota. Kilka firm komercyjnych zbudowało prototypy robotów-szefów kuchni, chociaż żaden z nich nie jest obecnie dostępny na rynku, a pod względem umiejętności pozostają one daleko w tyle za swoimi ludzkimi odpowiednikami.
Kucharze mogą uczyć się nowych przepisów poprzez obserwację, niezależnie od tego, czy oglądają gotowanie innej osoby, czy oglądają wideo na YouTube, ale zaprogramowanie robota do przygotowywania różnych potraw jest kosztowne i czasochłonne.
„Chcieliśmy sprawdzić, czy możemy wyszkolić robota-kucharza, aby uczył się w ten sam stopniowy sposób, w jaki ludzie mogą – identyfikując składniki i sposób, w jaki pasują do siebie w naczyniu” – powiedział Grzegorz Sochacki z Wydziału Inżynierii Cambridge, pierwszy w gazecie autor.
Sochacki, doktorant w Bio-Inspired Robotics Laboratory profesora Fumiyi Iidy, wraz z kolegami opracowali osiem prostych przepisów na sałatki i sfilmowali siebie podczas ich przygotowywania. Następnie wykorzystali publicznie dostępną sieć neuronową do szkolenia swojego szefa-robota. Sieć neuronowa została już zaprogramowana do identyfikowania szeregu różnych obiektów, w tym owoców i warzyw używanych w ośmiu przepisach na sałatki (brokuły, marchew, jabłko, banan i pomarańcza).
Korzystając z komputerowych technik wizyjnych, robot przeanalizował każdą klatkę wideo i był w stanie zidentyfikować różne przedmioty i cechy, takie jak nóż i składniki, a także ręce, dłonie i twarz demonstratora. Zarówno przepisy, jak i filmy zostały przekonwertowane na wektory, a robot wykonał operacje matematyczne na wektorach, aby określić podobieństwo między demonstracją a wektorem.
Prawidłowo identyfikując składniki i działania ludzkiego szefa kuchni, robot mógł określić, który z przepisów jest przygotowywany. Robot mógł wywnioskować, że gdyby ludzki demonstrator trzymał nóż w jednej ręce i marchewkę w drugiej, marchewka zostałaby posiekana.
Z 16 obejrzanych filmów robot rozpoznawał prawidłowy przepis w 93% przypadków, mimo że wykrył tylko 83% działań szefa kuchni. Robot był również w stanie wykryć, że niewielkie zmiany w przepisie, takie jak zrobienie podwójnej porcji lub zwykły błąd ludzki, były zmianami, a nie nowym przepisem. Robot poprawnie rozpoznał również demonstrację nowej, dziewiątej sałatki, dodał ją do swojej książki kucharskiej i zrobił.
„To niesamowite, jak wiele niuansów robot był w stanie wykryć” – powiedział Sochacki. „Te przepisy nie są skomplikowane – to w zasadzie posiekane owoce i warzywa, ale było naprawdę skuteczne w rozpoznawaniu, na przykład, że dwa pokrojone jabłka i dwie pokrojone marchewki to ten sam przepis, co trzy pokrojone jabłka i trzy posiekane marchewki. “
Filmy używane do szkolenia robota-kucharza nie przypominają filmów o jedzeniu tworzonych przez niektórych influencerów w mediach społecznościowych, które są pełne szybkich cięć i efektów wizualnych oraz szybko przechodzą tam iz powrotem między osobą przygotowującą jedzenie a daniem, które przygotowuje . Na przykład robot miałby trudności ze zidentyfikowaniem marchewki, gdyby ludzki demonstrator owinął ją dłonią — aby robot mógł zidentyfikować marchewkę, ludzki demonstrator musiał podnieść marchewkę, aby robot mógł zobaczyć całe warzywo.
„Nasz robot nie jest zainteresowany rodzajami filmów o jedzeniu, które stają się wirusowe w mediach społecznościowych – po prostu zbyt trudno je śledzić” – powiedział Sochacki. „Ale ponieważ ci robotowi szefowie kuchni stają się coraz lepsi i szybsi w identyfikowaniu składników w filmach o jedzeniu, być może będą mogli korzystać z witryn takich jak YouTube, aby nauczyć się całej gamy przepisów”.
Badania były częściowo wspierane przez Beko plc oraz Radę ds. Badań Inżynierii i Nauk Fizycznych (EPSRC), część brytyjskich badań i innowacji (UKRI).