Zaniepokojony ojciec mówi, że po użyciu smartfona z Androidem do robienia zdjęć infekcji w pachwinie swojego malucha, Google oznaczył zdjęcia jako materiały związane z wykorzystywaniem seksualnym dzieci (CSAM), zgodnie z raportem The New York Times. Firma zamknęła jego konta i złożyła raport w National Center for Missing and Exploited Children (NCMEC) i pobudziła dochodzenie policyjne, podkreślając komplikacje związane z próbą odróżnienia potencjalnego nadużycia od niewinnego zdjęcia, gdy stanie się ono częścią biblioteka cyfrowa, zarówno na urządzeniu osobistym, jak i w chmurze. Obawy o konsekwencje zacierania granic tego, co należy uznać za prywatne, pojawiły się w zeszłym roku, kiedy Apple ogłosił swój plan bezpieczeństwa dzieci. W ramach planu Apple lokalnie skanuje obrazy na urządzeniach Apple, zanim zostaną przesłane do iCloud, a następnie dopasuje obrazy do zaszyfrowanej bazy danych NCMEC znanej CSAM. Jeśli znaleziono wystarczającą liczbę dopasowań, ludzki moderator przeglądałby treść i blokował konto użytkownika, jeśli zawierało ono CSAM. Konta zostały zabrane z powodu treści, które „mogą być nielegalne” The Electronic Frontier Foundation (EFF), organizacja non-profit zajmująca się prawami cyfrowymi, zatrzasnęła plan Apple, mówiąc, że może „otworzyć tylne drzwi do twojego życia prywatnego” i że stanowi „a zmniejszenie prywatności dla wszystkich użytkowników iCloud Photos, a nie poprawa”. Firma Apple ostatecznie wstrzymała część skanowania przechowywanych obrazów, ale wraz z wprowadzeniem systemu iOS 15.2 przystąpiła do włączenia opcjonalnej funkcji dla kont podrzędnych objętych planem udostępniania rodziny. Jeśli rodzice zgodzą się na to, to na koncie dziecka aplikacja Wiadomości „analizuje załączniki w postaci obrazów i określa, czy zdjęcie zawiera nagość, zachowując pełne szyfrowanie wiadomości”. Jeśli wykryje nagość, zamazuje obraz, wyświetla ostrzeżenie dla dziecka i przedstawia mu zasoby, które mają pomóc w bezpieczeństwie w Internecie. Główny incydent wskazany przez The New York Times miał miejsce w lutym 2021 roku, kiedy niektóre gabinety lekarskie były nadal zamknięte z powodu pandemii COVID-19. Jak zauważył Times, Mark (którego nazwisko nie zostało ujawnione) zauważył obrzęk okolicy narządów płciowych swojego dziecka i na prośbę pielęgniarki wysłał zdjęcia problemu przed konsultacją wideo. Lekarz zakończył przepisywanie antybiotyków, które wyleczyły infekcję. Według NYT Mark otrzymał powiadomienie od Google zaledwie dwa dni po zrobieniu zdjęć, stwierdzające, że jego konta zostały zablokowane z powodu „szkodliwej treści”, która stanowi „poważne naruszenie zasad Google i może być nielegalne”. Podobnie jak wiele firm internetowych, w tym Facebook, Twitter i Reddit, Google używa dopasowywania skrótów z PhotoDNA firmy Microsoft do skanowania przesłanych obrazów w celu wykrycia zgodności ze znanym CSAM. W 2012 roku doprowadziło to do aresztowania mężczyzny, który był zarejestrowanym przestępcą seksualnym i używał Gmaila do wysyłania zdjęć młodej dziewczyny. W 2018 r. firma Google ogłosiła uruchomienie zestawu narzędzi Content Safety API AI, który może „proaktywnie identyfikować nigdy wcześniej nie widziane obrazy CSAM, dzięki czemu można je przejrzeć, a w przypadku potwierdzenia jako CSAM usunąć i zgłosić tak szybko, jak to możliwe”. Wykorzystuje to narzędzie do własnych usług, a wraz z rozwiązaniem dopasowywania skrótów CSAI Match do kierowania wideo, opracowanym przez inżynierów YouTube, oferuje je również innym użytkownikom.
Google „Zwalczanie nadużyć na naszych własnych platformach i usługach”:
Identyfikujemy i raportujemy CSAM za pomocą przeszkolonych zespołów specjalistów i najnowocześniejszych technologii, w tym klasyfikatorów uczenia maszynowego i technologii dopasowywania skrótów, która tworzy „hasz” lub unikalny cyfrowy odcisk palca dla obrazu lub wideo, dzięki czemu można go porównać z hashami znanych CSAM. Gdy znajdziemy CSAM, zgłaszamy to do National Center for Missing and Exploited Children (NCMEC), które współpracuje z organami ścigania na całym świecie.
Rzecznik Google powiedział The Times, że Google skanuje osobiste obrazy użytkowników tylko wtedy, gdy użytkownik podejmuje „działanie potwierdzające”, co najwyraźniej może obejmować tworzenie kopii zapasowych swoich zdjęć w Zdjęciach Google. Gdy Google oznacza obrazy przedstawiające wykorzystywanie, „Times” zauważa, że zgodnie z prawem federalnym Google ma obowiązek zgłosić potencjalnego sprawcę do CyberTipLine w NCMEC. W 2021 r. Google zgłosiło 621.583 przypadki CSAM do CyberTipLine NCMEC, podczas gdy NCMEC powiadomił władze o 4260 potencjalnych ofiarach, które według NYT obejmują syna Marka. Jak donosi Times, Mark stracił dostęp do swoich e-maili, kontaktów, zdjęć, a nawet numeru telefonu, gdy korzystał z usługi mobilnej Google Fi. Mark natychmiast próbował odwołać się od decyzji Google, ale Google odrzucił prośbę Marka. Departament Policji San Francisco, w którym mieszka Mark, wszczął dochodzenie w sprawie Marka w grudniu 2021 r. i uzyskał wszystkie informacje, które przechowywał w Google. Śledczy w sprawie ostatecznie stwierdził, że incydent „nie spełniał elementów przestępstwa i nie doszło do żadnego przestępstwa”, zauważa NYT. „Materiały związane z wykorzystywaniem seksualnym dzieci (CSAM) są odrażające i jesteśmy zaangażowani w zapobieganie ich rozprzestrzenianiu się na naszych platformach” – powiedziała rzeczniczka Google Christa Muldoon w oświadczeniu przesłanym pocztą elektroniczną do The Verge. „Podczas definiowania CSAM przestrzegamy prawa USA i używamy kombinacji technologii dopasowywania skrótów i sztucznej inteligencji, aby go zidentyfikować i usunąć z naszych platform. Ponadto nasz zespół ekspertów ds. bezpieczeństwa dzieci sprawdza zgłoszone treści pod kątem dokładności i konsultuje się z pediatrami, aby upewnić się, że jesteśmy w stanie zidentyfikować przypadki, w których użytkownicy mogą szukać porady medycznej”. Chociaż ochrona dzieci przed wykorzystywaniem jest niezaprzeczalnie ważna, krytycy twierdzą, że praktyka skanowania zdjęć użytkownika bezzasadnie narusza ich prywatność. Jon Callas, dyrektor projektów technologicznych w EFF, nazwał praktyki Google „nachalnymi” w oświadczeniu dla NYT. „To jest dokładnie ten koszmar, o który wszyscy się martwimy” – powiedział Callas NYT. „Zamierzają zeskanować mój rodzinny album, a potem wpadnę w kłopoty”.