Samsung znowu zawyża wyniki benchmarków

Jakiś czas temu serwis AnandTech odkrył, że oparta na Exynosie 5 Octa wersja Galaxy S4 w wybranych programach zwiększa taktowanie układu graficznego i procesora. Dotyczyło to głównie aplikacji mierzących wydajność urządzenia, których uruchomienie powodowało w przypadku GPU błyskawiczny wzrost taktowania z 480 MHz do 533 MHz (ten próg nie był wykorzystywany standardowo w systemie).

Poza tym układ Samsunga automatycznie aktywował klaster rdzeni Cortex-A15, których taktowanie ustawione było na 1,6 GHz i podczas testu nie spadało poniżej tego progu. Przekładało się to oczywiście na lepsze rezultaty w wielu programach, w tym m.in. GLBenchmark, AnTuTu, Quadrant, Linpack czy Benchmark Pi (były też takie, które działały prawidłowo - GFXBench).

Co więcej, o ile w przypadku GPU wzrost taktowania odnosił się tylko do wersji z Exynosem, o tyle błyskawiczne aktywowanie rdzeni procesora z ustawionym wysokim progiem taktowania można zaobserwować także w modelach opartych na Snapdragonie 600. To kontrowersyjne rozwiązanie, ponieważ programy te wykorzystywane są przecież przez testerów na całym świecie do mierzenia i porównywania wydajności urządzeń. Wyniki, które dostępne są w wielu testach (także naszym), mogą być mylne - według niektórych szacunków nawet o 11%.

[solr id="komorkomania-pl-192439" excerpt="1" image="1" words="20" _url="http://komorkomania.pl/2895,galaxy-note-3-czyli-topowych-phablet-wchodzi-do-polski-z-zegarkiem" _mphoto="galaxy-note-3-192439-238-8ae19ed.jpg"][/solr][block src="solr" position="inside"]4520[/block]

Południowokoreańska firma oczywiście zaprzeczyła, że umyślnie chciała wprowadzić testerów w błąd. Twierdziła nawet, że podobnie dzieje się w innych aplikacjach, jak odtwarzacz wideo czy przeglądarka zdjęć. Naturalnie, mogło to wpływać na zmniejszenie wydzielania ciepła i poboru energii. Przeczy temu jednak fragment kodu odpowiadający za tzw. tryb benchmarków, odnaleziony przez redaktorów AnandTecha. Wątpię, aby producent nie zdawał sobie sprawy z konsekwencji wynikających z takiego zachowania układu, co zresztą wywołało spory odzew w social media.

Po tej małej aferze można było sądzić, że Samsung zrezygnuje z tego typu praktyk. Można było. Południowokoreański producent pozostał bowiem niewzruszony i także w Galaxy Note 3 można obserwować przechodzenie telefon w "tryb benchmarków". Jako pierwsi zauważyli to redaktorzy Ars Technica, których zdziwiły spore różnice w wydajności między nowym Note'em a LG G2, czyli dwoma urządzeniami opartymi na tym samym układzie Snapdragon 800 o taktowaniu 2,3 GHz. Okazało się, że po uruchomieniu aplikacji mierzącej wydajność phablet Samsunga od razu aktywował wszystkie rdzenie Krait ze sztywnym progiem taktowania ustawionym na 2,3 GHz.

Różnice między urządzeniami doskonale było widać w GeekBench 3.0. W trybie MultiCore ogólny wynik Galaxy Note 3 to blisko 3000 punktów, podczas gdy LG G2 dobijał do 2300 punktów. Różnice na korzyść Samsunga widoczne były również przy mierzeniu wydajności pojedynczych rdzeni, chociaż sięgały tylko 10%. Potwierdzeniem zawyżania wyników było wykorzystanie Stealthbench, czyli specjalnie przygotowanej wersji GeekBench o zmienionej nazwie. Note 3 nie rozpoznał programu i nie aktywował od razu wszystkich rdzeni. Ba, na ekranie głównym programu zamiast aktywnych czterech rdzeni 2,3 GHz pracował tylko jeden z częstotliwością około 300 MHz. Widoczne to było też w wynikach - zamiast 700 punktów było tylko około 200 różnicy. Rezultat nie wskazywał więc na skok wydajności sugerujący dużo lepszy układ (zobaczcie różnicę między S4 na Snapdragonie 600 a urządzeniami z S800).

Podobne spostrzeżenia redaktorzy Ars Technica mieli po sprawdzeniu innych benchmarków oraz ich wersji o zmienionych nazwach (jak Stealthbench). Różnica miedzy włączonym trybem "benchmarkowym" a standardowym działaniem wynosiła zazwyczaj około 20% (AnTuTu, Quadrant), a w niektórych przypadkach nawet 50% (Linpack).

Tym razem tłumaczenia Samsunga o podobnym zachowaniu układu w innych aplikacjach niż benchmarki już raczej nie przejdą. Tym bardziej że fragment kodu wyciągnięty z oprogramowania pokazuje, czego dotyczy to nagłe podkręcanie układu. Co ciekawe, kod odnosi się także do zmian liczby klatek wyświetlanych na sekundę.

Miałem szerzej opisać ten temat, ale ograniczę się do krótkiego komentarza. Uważam, że zagranie Samsunga jest, delikatnie mówiąc, nie w porządku wobec użytkowników i testerów. Poza tym to zwyczajnie głupie zagranie. Po pierwsze wyniki w benchmarkach dla innych osób niż zaawansowani użytkownicy nie mają znaczenia przy wyborze telefonu. Po drugie - nie rozumiem sensu podkręcania wyników Snapdragona 800 czy Exynosa 5420, które są najmocniejszymi na rynku jednostkami i gwarantują poziom wydajności obecnie niemal niemożliwy do wykorzystania (to duże różnice wzbudziły podejrzenia). Po trzecie zawsze obok suchych danych omawiane jest działanie urządzenia i jego wydajność w praktyce. Note 3 wypada pod tym względem świetnie, chociaż producent zamiast pisać "tryb benchmarków", mógł zadbać o jeszcze lepszą optymalizację TouchWiza. UX jest dziś tak przeładowane funkcjami jak kiedyś HTC Sense i coraz mocniej daje się to we znaki użytkownikom (zdarzające się w niektórych sytuacjach spowolnienia).

Takie podejście do testerów może również sprawić, że urządzenia z serii Galaxy będą oni sprawdzali z jeszcze większą starannością (na pewno my będziemy). Firmie raz udało się oszukać recenzentów, ale naprawdę trudno będzie jej teraz odbudować zaufanie. Nie tędy droga, Samsungu...

Źródło: AnandTech • ArsTechnica