Samsung znowu zawyża wyniki benchmarków

Galaxy Note 3

Galaxy Note 3

O zawyżaniu przez Galaxy S4 wyników popularnych benchmarków głośno było już jakiś czas temu. Samsung nie wyciągnął z tego jednak żadnych wniosków. Także Galaxy Note 3 specyficznie reaguje na uruchamianie programów mierzących wydajność.

Jakiś czas temu serwis AnandTech odkrył, że oparta na Exynosie 5 Octa wersja Galaxy S4 w wybranych programach zwiększa taktowanie układu graficznego i procesora. Dotyczyło to głównie aplikacji mierzących wydajność urządzenia, których uruchomienie powodowało w przypadku GPU błyskawiczny wzrost taktowania z 480 MHz do 533 MHz (ten próg nie był wykorzystywany standardowo w systemie).

Poza tym układ Samsunga automatycznie aktywował klaster rdzeni Cortex-A15, których taktowanie ustawione było na 1,6 GHz i podczas testu nie spadało poniżej tego progu. Przekładało się to oczywiście na lepsze rezultaty w wielu programach, w tym m.in. GLBenchmark, AnTuTu, Quadrant, Linpack czy Benchmark Pi (były też takie, które działały prawidłowo — GFXBench).

Co więcej, o ile w przypadku GPU wzrost taktowania odnosił się tylko do wersji z Exynosem, o tyle błyskawiczne aktywowanie rdzeni procesora z ustawionym wysokim progiem taktowania można zaobserwować także w modelach opartych na Snapdragonie 600. To kontrowersyjne rozwiązanie, ponieważ programy te wykorzystywane są przecież przez testerów na całym świecie do mierzenia i porównywania wydajności urządzeń. Wyniki, które dostępne są w wielu testach (także naszym), mogą być mylne — według niektórych szacunków nawet o 11%.

Galaxy Note 3, król phabletów już w sprzedaży. Cena? Nie dla każdego

Na wczorajszej konferencji prasowej Samsung zapowiedział wprowadzenie na nasz rynek Galaxy Note’a 3 oraz zegarka Galaxy Gear, który ma być idealnym dopełnieniem phabletu. Obydwa urządzenia zapowiadają się obiecująco i już nie mogę się doczekać, aż trafią do nas na dłuższe testy.

Południowokoreańska firma oczywiście zaprzeczyła, że umyślnie chciała wprowadzić testerów w błąd. Twierdziła nawet, że podobnie dzieje się w innych aplikacjach, jak odtwarzacz wideo czy przeglądarka zdjęć. Naturalnie, mogło to wpływać na zmniejszenie wydzielania ciepła i poboru energii. Przeczy temu jednak fragment kodu odpowiadający za tzw. tryb benchmarków, odnaleziony przez redaktorów AnandTecha. Wątpię, aby producent nie zdawał sobie sprawy z konsekwencji wynikających z takiego zachowania układu, co zresztą wywołało spory odzew w social media.

Po tej małej aferze można było sądzić, że Samsung zrezygnuje z tego typu praktyk. Można było. Południowokoreański producent pozostał bowiem niewzruszony i także w Galaxy Note 3 można obserwować przechodzenie telefon w "tryb benchmarków". Jako pierwsi zauważyli to redaktorzy Ars Technica, których zdziwiły spore różnice w wydajności między nowym Note'em a LG G2, czyli dwoma urządzeniami opartymi na tym samym układzie Snapdragon 800 o taktowaniu 2,3 GHz. Okazało się, że po uruchomieniu aplikacji mierzącej wydajność phablet Samsunga od razu aktywował wszystkie rdzenie Krait ze sztywnym progiem taktowania ustawionym na 2,3 GHz.

Automatyczne aktywowanie rdzeni Krait 400 z taktowaniem 2,3 GHz w wybranych benchmarkach

Zobacz również: Internet rzeczy czy rzeczy internetu?

Różnice między urządzeniami doskonale było widać w GeekBench 3.0. W trybie MultiCore ogólny wynik Galaxy Note 3 to blisko 3000 punktów, podczas gdy LG G2 dobijał do 2300 punktów. Różnice na korzyść Samsunga widoczne były również przy mierzeniu wydajności pojedynczych rdzeni, chociaż sięgały tylko 10%. Potwierdzeniem zawyżania wyników było wykorzystanie Stealthbench, czyli specjalnie przygotowanej wersji GeekBench o zmienionej nazwie. Note 3 nie rozpoznał programu i nie aktywował od razu wszystkich rdzeni. Ba, na ekranie głównym programu zamiast aktywnych czterech rdzeni 2,3 GHz pracował tylko jeden z częstotliwością około 300 MHz. Widoczne to było też w wynikach — zamiast 700 punktów było tylko około 200 różnicy. Rezultat nie wskazywał więc na skok wydajności sugerujący dużo lepszy układ (zobaczcie różnicę między S4 na Snapdragonie 600 a urządzeniami z S800).

Wydajność Galaxy Note 3 w trybie '"benchmarkowym" i normalnej pracy. Porównanie wydajności z LG G2 i Galaxy S4 (fot. arstechnica)

Podobne spostrzeżenia redaktorzy Ars Technica mieli po sprawdzeniu innych benchmarków oraz ich wersji o zmienionych nazwach (jak Stealthbench). Różnica miedzy włączonym trybem "benchmarkowym" a standardowym działaniem wynosiła zazwyczaj około 20% (AnTuTu, Quadrant), a w niektórych przypadkach nawet 50% (Linpack).

Tym razem tłumaczenia Samsunga o podobnym zachowaniu układu w innych aplikacjach niż benchmarki już raczej nie przejdą. Tym bardziej że fragment kodu wyciągnięty z oprogramowania pokazuje, czego dotyczy to nagłe podkręcanie układu. Co ciekawe, kod odnosi się także do zmian liczby klatek wyświetlanych na sekundę.

Kod odpowiedzialny za "boost" procesora przy uruchamianiu benchmarków (fot. arstechnica)

Miałem szerzej opisać ten temat, ale ograniczę się do krótkiego komentarza. Uważam, że zagranie Samsunga jest, delikatnie mówiąc, nie w porządku wobec użytkowników i testerów. Poza tym to zwyczajnie głupie zagranie. Po pierwsze wyniki w benchmarkach dla innych osób niż zaawansowani użytkownicy nie mają znaczenia przy wyborze telefonu. Po drugie — nie rozumiem sensu podkręcania wyników Snapdragona 800 czy Exynosa 5420, które są najmocniejszymi na rynku jednostkami i gwarantują poziom wydajności obecnie niemal niemożliwy do wykorzystania (to duże różnice wzbudziły podejrzenia). Po trzecie zawsze obok suchych danych omawiane jest działanie urządzenia i jego wydajność w praktyce. Note 3 wypada pod tym względem świetnie, chociaż producent zamiast pisać "tryb benchmarków", mógł zadbać o jeszcze lepszą optymalizację TouchWiza. UX jest dziś tak przeładowane funkcjami jak kiedyś HTC Sense i coraz mocniej daje się to we znaki użytkownikom (zdarzające się w niektórych sytuacjach spowolnienia).

Takie podejście do testerów może również sprawić, że urządzenia z serii Galaxy będą oni sprawdzali z jeszcze większą starannością (na pewno my będziemy). Firmie raz udało się oszukać recenzentów, ale naprawdę trudno będzie jej teraz odbudować zaufanie. Nie tędy droga, Samsungu…

Źródło: AnandTechArsTechnica

Podziel się:

Przeczytaj także:

Także w kategorii Artykuły:

Wall Street Journal: "Sprzedaż Motoroli Moto X jest rozczarowująca". Zapewne lepiej poradzi sobie Moto G Nokia też ma w planie wygięte i zginane smartfony? 1/3 użytkowników smarfonów ofiarami cyberprzestępców. Nie dbamy o bezpieczeństwo Chcesz kupić phablet? Pożegnaj się z życiem towarzyskim Samsung sprzedał już 5 milionów Galaxy Note'ów 3. Jest dobrze, ale raczej bez rewelacji Rynek smartfonów rośnie, a Samsung ma w nim rekordowe udziały Galaxy S4 już u 40 milionów użytkowników. Co z datą premiery Galaxy S5 i... plastikiem? Snapdragon 600 vs Snapdragon 800 - różnica jest naprawdę odczuwalna Fotograficzne smartfony nie są tak dobre, jak mówią producenci. Ale warto je kupować Nokia Lumia 1520 - wysoka cena zabije phablet Finów? Piszesz SMS-y podczas jazdy? Ani Mru Mru ci nie daruje LG G2 vs Sony Xperia Z1. Który jest lepszy? HTC One Max, czyli czy świetny produkt wystarczy? Nokia N-Gage - minęło już 10 lat, a my wciąż nie chcemy konsol-smartfonów Galaxy Round to pierwszy smartfon Samsunga z giętkim ekranem? Samsung Galaxy Note 3 z najlepszym ekranem AMOLED Propozycja Microsoftu ratunkiem dla HTC? 5 zasad nagrywania koncertu smartfonem [wideo] Większość producentów Androidów oszukuje w benchmarkach! Androidy wariują po aktualizacji Gmaila?

Popularne w tym tygodniu:

10 ciekawostek na temat Androida OnePlus 5 - pracownicy firmy opowiadają o nowym smartfonie z rozbrajającą szczerością Nieznane telefony znanych marek: Sharp