Po raz pierwszy projekt prowadzony przez Uniwersytet Oksfordzki wyszkolił model uczenia maszynowego w przestrzeni kosmicznej na pokładzie satelity. To osiągnięcie może zrewolucjonizować możliwości satelitów teledetekcji, umożliwiając monitorowanie w czasie rzeczywistym i podejmowanie decyzji w szeregu zastosowań.
Dane zbierane przez satelity teledetekcji mają fundamentalne znaczenie dla wielu kluczowych działań, w tym mapowania z powietrza, prognozowania pogody i monitorowania wylesiania. Obecnie większość satelitów może zbierać dane jedynie w sposób pasywny, ponieważ nie są one przystosowane do podejmowania decyzji ani wykrywania zmian. Zamiast tego dane muszą zostać przesłane na Ziemię w celu przetworzenia, co zwykle zajmuje kilka godzin lub nawet dni. Ogranicza to możliwość identyfikowania i reagowania na szybko pojawiające się zdarzenia, takie jak klęska żywiołowa.
Aby przezwyciężyć te ograniczenia, grupa naukowców pod kierownictwem studenta DPhil Víta Růžički (Wydział Informatyki Uniwersytetu Oksfordzkiego) podjęła wyzwanie szkolenia pierwszego programu uczenia maszynowego w przestrzeni kosmicznej. W 2022 roku zespół z powodzeniem przedstawił swój pomysł misji Dashing through the Stars, w ramach której ogłoszono otwarty nabór propozycji projektów do realizacji na pokładzie wystrzelonego w styczniu 2022 roku satelity ION SCV004. Jesienią 2022 roku zespół przesłał kod programu do satelity znajdującego się już na orbicie.
Naukowcy przeszkolili prosty model do wykrywania zmian w zachmurzeniu na podstawie zdjęć lotniczych bezpośrednio na pokładzie satelity, w przeciwieństwie do szkolenia na ziemi. Model został oparty na podejściu zwanym kilkukrotnym uczeniem się, które umożliwia modelowi nauczenie się najważniejszych funkcji, których należy szukać, gdy ma tylko kilka próbek do uczenia. Kluczową zaletą jest to, że dane można skompresować do mniejszych reprezentacji, dzięki czemu model jest szybszy i bardziej wydajny.
Vít Růžička wyjaśnił: „Opracowany przez nas model, nazwany RaVAEn, najpierw kompresuje duże pliki obrazów do wektorów o 128 liczbach. W fazie uczenia model uczy się zachowywać w tym wektorze tylko wartości informacyjne; te, które odnoszą się do zmiany, którą próbuje wykryć (w tym przypadku, czy jest obecna chmura, czy nie). Skutkuje to niezwykle szybkim szkoleniem ze względu na posiadanie tylko bardzo małego modelu klasyfikacji do trenowania”.
Podczas gdy pierwsza część modelu, służąca do kompresji nowo widzianych obrazów, była trenowana na ziemi, druga część (od której zależało, czy obraz zawiera chmury, czy nie) była trenowana bezpośrednio na satelicie.
Zwykle opracowanie modelu uczenia maszynowego wymagałoby kilku rund szkolenia z wykorzystaniem mocy klastra połączonych komputerów. Dla kontrastu, maleńki model zespołu zakończył fazę szkolenia (wykorzystując ponad 1300 obrazów) w około półtorej sekundy.
Kiedy zespół przetestował wydajność modelu na nowych danych, automatycznie wykrył, czy chmura jest obecna, czy nie, w ciągu około jednej dziesiątej sekundy. Wymagało to zakodowania i przeanalizowania sceny odpowiadającej obszarowi o powierzchni około 4,8 x 4,8 km2 (co odpowiada prawie 450 boiskom piłkarskim).
Zdaniem naukowców model można łatwo dostosować do wykonywania różnych zadań i wykorzystywania innych form danych. Vít Růžička dodał: „Po dokonaniu tej demonstracji zamierzamy teraz opracować bardziej zaawansowane modele, które będą w stanie automatycznie rozróżniać istotne zmiany (na przykład powodzie, pożary i wylesianie) oraz zmiany naturalne (takie jak naturalne zmiany koloru liści w różnych porach roku ). Kolejnym celem jest opracowanie modeli dla bardziej złożonych danych, w tym obrazów z satelitów hiperspektralnych. Mogłoby to na przykład umożliwić wykrywanie wycieków metanu i miałoby kluczowe implikacje dla walki ze zmianami klimatycznymi”.
Wykonywanie uczenia maszynowego w przestrzeni kosmicznej może również pomóc w rozwiązaniu problemu wpływu trudnych warunków środowiskowych na pokładowe czujniki satelitarne, które wymagają regularnej kalibracji. Vít Růžička powiedział: „Nasz proponowany system mógłby być wykorzystywany w konstelacjach niejednorodnych satelitów, gdzie wiarygodne informacje z jednego satelity mogą być wykorzystywane do szkolenia reszty konstelacji. Można to wykorzystać na przykład do ponownej kalibracji czujników, które uległy degradacji z biegiem czasu lub doświadczyły gwałtownych zmian w środowisku”.
Profesor Andrew Markham, który nadzorował badania Vít DPhil, powiedział: „Uczenie maszynowe ma ogromny potencjał poprawy teledetekcji – możliwość przeniesienia jak największej ilości inteligencji do satelitów sprawi, że czujniki kosmiczne będą coraz bardziej autonomiczne. Pomogłoby to przezwyciężyć problemy związane z nieodłącznymi opóźnieniami między akwizycją a działaniem, umożliwiając satelicie uczenie się na podstawie danych znajdujących się na pokładzie. Praca Víta służy jako interesujący dowód na zasadę.