TL;DR Qualcomm stoi w obliczu kontrowersji związanych z twierdzeniami dotyczącymi testów porównawczych nowej serii procesorów Snapdragon X. W jednym z artykułów stwierdzono, że Qualcomm „oszukuje”, zasadniczo fałszując wyniki, aby sprawiać wrażenie, że chipy mają większą moc, niż w rzeczywistości będą dla konsumentów. Qualcomm nie przedstawił całkowicie przejrzystych metod testowania, pozostawiając kilka ostatecznych odpowiedzi na temat tego, co jest dokładne, a co nie. Wczoraj Qualcomm oficjalnie zaprezentował nowy chipset Snapdragon X Plus. Zaprojektowany dla laptopów z systemem Windows na Arm, procesor Snapdragon X Plus (i jego mocniejszy brat, Snapdragon X Elite) został zaprojektowany tak, aby zapewnić użytkownikom systemu Windows to, z czego cieszyli się użytkownicy systemu macOS od czasu pierwotnej premiery chipów Apple z serii M: mocny, wydajny wentylator mniej laptopów z szalenie długą żywotnością baterii. Jeśli dopiero nadrabiasz zaległości, gorąco polecam obejrzenie zamieszczonego powyżej filmu. Podaję dużo kontekstu serii Snapdragon X i tego, jak może ona zmienić krajobraz laptopów z systemem Windows. Niestety, nie wszyscy są tak podekscytowani nowymi chipami Snapdragon X jak Qualcomm. Charlie Demerjian z SemiAccurate napisał niedawno długą opinię, w której twierdzi, że Qualcomm „oszukuje”, jeśli chodzi o promowane testy porównawcze X Elite i X Plus. Zaczęło się to rozprzestrzeniać w mediach społecznościowych i wywołało szerszą dyskusję na temat Qualcomm, Windows on Arm i integralności tych chipów. Android Authority wziął udział w wielu wydarzeniach Qualcomm, podczas których można było uzyskać bezpośredni dostęp do maszyn ze Snapdragonem X, więc pomyśleliśmy, że: włącz się do rozmowy. W tym miejscu chcę omówić, co się dzieje i czego możemy się spodziewać, gdy dostępne będą detaliczne maszyny z chipami Snapdragon X.
Kontrowersje dotyczące testów porównawczych Qualcomm: pewne tło
Robert Triggs / Android AuthorityWiększość osób czytających ten artykuł jest zaznajomiona z testowaniem porównawczym, które polega na poddaniu sprzętu serii obiektywnych testów w celu ustalenia, jak wypada on pod różnymi wskaźnikami na tle innego sprzętu. Jeśli wiesz o benchmarkingu, wiesz, że można nim również manipulować, aby zwiększyć lub zmniejszyć wynik. Na przykład przeprowadzenie testu porównawczego smartfona, gdy telefon leży na gorącym stole w bezpośrednim świetle słonecznym, prawdopodobnie da gorszy wynik w porównaniu do przeprowadzenia tego samego testu w lodówce. Innymi słowy, samo posiadanie wyniku testu nie wystarczy całą historię, zwłaszcza jeśli osoba przeprowadzająca test porównawczy pominęła istotne szczegóły dotyczące sposobu jego uzyskania. Podczas wszystkich wydarzeń związanych ze Snapdragonem X, w których uczestniczy Android Authority od października 2023 r., Qualcomm miał do zaprezentowania mnóstwo testów porównawczych. Jak można się było spodziewać, wszystkie pokazują, że Snapdragon X Elite i X Plus krążą wokół chipsetów konkurencji, w tym Apple M3 i najnowszych chipów Core Ultra od Intela. We wszystkich przypadkach Qualcomm twierdzi, że procesory z serii X są mocniejsze, bardziej energooszczędne i lepiej radzą sobie z zadaniami opartymi na sztucznej inteligencji. Szczególnie w przypadku Apple jest to wręcz niewiarygodne, biorąc pod uwagę, że Apple wypuściło już na rynek trzy generacje gotowych do sprzedaży detalicznej chipów Arm, a Qualcomm nie wprowadził jeszcze do sprzedaży detalicznej żadnej serii X. Qualcomm udostępnia wiele testów porównawczych dla serii X, ale niewiele odpowiedzi. Problem w tym, że Qualcomm wielokrotnie unikał pytań o to, w jaki sposób uzyskał te testy. Na wydarzeniu, w którym uczestniczyłem przed premierą Snapdragona X Plus, Qualcomm pokazał, o ile mocniejszy jest ten chip od krzemu Apple M3. Podniosłem rękę i zapytałem prezentera, jaka jest projektowa moc cieplna chipów (TDP) dla obu maszyn użytych w tym teście porównawczym, ponieważ tej informacji nie było na slajdzie. Prezenter nie mógł odpowiedzieć i powiedział, że się ze mną skontaktuje (czego nie zrobił). O ile mi wiadomo, TDP chipa w benchmarkach Snapdragon X Elite/Plus nigdy nie zostało nikomu ujawnione (pamiętajcie, że TDP urządzenia i TDP chipa to dwie różne rzeczy). Jest to ogromny problem, ponieważ znaczna różnica TDP radykalnie zmieniłaby rodowód benchmarku. Innymi słowy, jeśli laptop Apple M3 pracuje ze standardowym TDP na poziomie 20 W, a procesor Snapdragon X z mocą 80 W, testy porównawcze nie są już porównywalne. Jeśli połączyć to z faktem, że Qualcomm nie pozwolił na żadne w pełni niezależne testy serii X, podchodzisz do jej twierdzeń z dużym sceptycyzmem. Nawet gdy przeprowadzaliśmy testy porównawcze Snapdragon X Elite, nie było to łatwe. Mogliśmy tylko oglądać wybrane testy porównawcze Qualcomma i nie mogliśmy instalować innych aplikacji ani sprawdzać szczegółów urządzenia do testów porównawczych. Krótko mówiąc, Qualcomm ma bardzo podejście „zaufaj nam, bracie” w odniesieniu do swoich roszczeń dotyczących serii Snapdragon X.
Nowe twierdzenia o „oszustwie”
We wspomnianym wcześniej artykule SemiAccurate Charlie Demerjian twierdzi, że rozmawiał z anonimowymi źródłami posiadającymi bezpośrednie informacje na temat wewnętrznych firm Qualcomm i partnerów OEM. Wśród wielu rzeczy twierdzonych w artykule, oto kilka godnych uwagi cytatów: „SemiAccurate ma 100% pewność, że twierdzi, że niektóre liczby popisywał się Qualcomm [to press] nie można odtworzyć z podanymi ustawieniami.” „Po tym, jak producenci OEM otrzymali wstępne próbki i stworzyli coś zbliżonego do ostatecznego projektu, firma SemiAccurate otrzymała raporty o słabej wydajności. Przez „słabe” rozumiemy wartości znacznie poniżej 50% wartości, jakie Qualcomm podał im w dokumentach technicznych i prezentacjach”. „Później, wraz z większą liczbą próbek Snapdragon X Elite na wolności i wieloma innymi wersjami [Windows on Arm], otrzymaliśmy podobne raporty od producentów OEM i innego producenta z poziomu 1. W obu przypadkach podano liczby, które w niczym nie przypominały obietnic Qualcomm. Jak nie blisko? Tym razem powyżej 50%, ale jeden użył terminu „Celeron” do opisania wydajności. Zasadniczo Demerjian twierdzi, że Qualcomm wykorzystuje podkręcone testy porównawcze, aby sprzedawać serię Snapdragon X nie tylko dziennikarzom, ale także firmom, które będą produkować laptopy, w których faktycznie pojawią się te chipy. Niestety Demerjian nie ma twardych dowodów, na które mógłby się oprzeć te roszczenia. Powodem tego jest to, że SemiAccurate „ułatwiło zadawanie pytań między producentami OEM a inżynierami Qualcomm, co może wskazywać na źródło, jeśli nie będziemy ostrożni”. Demerjian dodaje: „anonimowość naszych źródeł zawsze będzie na pierwszym miejscu”. Wszystko w porządku, ale SemiAccurate w zasadzie robi dokładnie to samo, za co wzywa Qualcomm: „zaufaj nam, bracie”.
Nasze zdanie i wypowiedzi Qualcomma
W sprawie tej historii skontaktowaliśmy się z Qualcomm. Zapytany o artykuł SemiAccurate, Qualcomm odpowiedział:
Podtrzymujemy nasze zapewnienia dotyczące wydajności i nie możemy się doczekać, aż konsumenci wkrótce dostaną w swoje ręce urządzenia Snapdragon X Elite i X Plus.
Zapytany o metodologię testów, odpowiedział:
Nasze testy porównawcze są mierzone w trybie prądu przemiennego (podłączona ładowarka sieciowa) i w trybie zrównoważonym (domyślnie na urządzeniach detalicznych).
Warto zauważyć, że gdy zapytaliśmy o chip TDP, wskazano nam zbiór materiałów prasowych, które nie zawierają tej informacji. Wydaje się, że jest to jedyna rzecz, o której firma nikomu nie powie z jakiegokolwiek powodu. Wobec braku oficjalnych informacji możemy jedynie zakładać, że TDP chipa musi być wysokie – co najmniej wyższe niż 20 W Apple. W końcu gdyby było to 20 W lub mniej, Qualcomm prawdopodobnie otwarcie powiedziałby każdemu, kto chce takiej informacji. Chociaż w tej chwili nie możemy definitywnie odpowiedzieć na pytanie dotyczące TDP, możemy rzucić okiem na to, czego można się spodziewać po chipach Qualcomm w ten teren. Dzięki częstej współpracownicy Android Authority, Kamili Wojciechowskiej, mamy kilka wycieków testów porównawczych różnych maszyn Snapdragon X, o których możesz przeczytać pod linkiem. Całość jest naprawdę interesująca, ale sedno jest takie, że topowa maszyna Snapdragon X Elite ma dość wysokie TDP, ponieważ podnosi taktowanie. Według doniesień pozostałe modele Elite i Plus są bliższe modelom Apple M3 Pro i M2, chociaż być może nadal mają nieco większy pobór mocy. Wracając do naszych pytań dotyczących Qualcomma, zapytaliśmy także firmę, kiedy będziemy mogli przetestować laptopy gotowe do sprzedaży detalicznej z procesorami Snapdragon X, ale stwierdził, że nie może udostępniać informacji o planach swoich partnerów OEM. Następnie napisano: „Produkty wyposażone w procesor Snapdragon X Elite i nasz nowy Snapdragon X Plus zostaną ogłoszone w połowie 2024 r.”, a tę informację już mamy. Osobiście jestem bardzo podekscytowany serią Snapdragon X. Nawet jeśli twierdzenia Qualcomma dotyczące testów porównawczych okażą się bzdurą – lub wręcz kłamstwem – możliwość korzystania z potężnego laptopa z systemem Windows, który połyka baterię, jest dla mnie zbyt kusząca, aby ją odrzucić. Nawet jeśli MacBook będzie lepszy pod każdym względem, jeśli będę mógł używać laptopa ze Snapdragonem X do pisania artykułu, edytowania wideo i grania w Baldur's Gate 3 podczas lotu samolotem, cały czas na baterii, kupię go natychmiast. Liczby na stronie nie mają dla mnie tak dużego znaczenia, jak doświadczenia w świecie rzeczywistym. Całą prawdę dowiemy się już za kilka tygodni, gdyż spodziewamy się, że Microsoft zaprezentuje w maju laptopa Surface z chipem Snapdragon X za Wdrożenie w czerwcu. Kiedy ten laptop będzie już dostępny na rynku, promowane przez Qualcomm wczesne testy porównawcze zostaną poddane najsurowszej analizie. Jeśli kryteria będą zgodne, Charlie Demerjian i inni będą musieli zjeść z kapelusza. Jeśli zabraknie testów porównawczych, cóż… Qualcomm będzie musiał sobie poradzić z masą negatywnej prasy, co poważnie zagrozi przyszłemu sukcesowi serii Snapdragon X (a co za tym idzie, Windows on Arm). Uwagi