Większość producentów Androidów oszukuje w benchmarkach!

Okazuje się, że nie tylko Samsung oszukuje w benchmarkach. Robi to większość producentów, o czym poinformował wczoraj serwis AnandTech.

Po aferze z zawyżaniem wyników benchmarków przez Galaxy S4 Anand Shimpi i Brian Klug z serwisu AnandTech postanowili zebrać dane na temat wydajności innych androidowych urządzeń. Wyniki ich badań są interesujące. Okazuje się, że tzw. tryb benchmarków to domena nie tylko smartfonów Samsunga, ale też innych producentów. Wiele urządzeń po uruchomieniu wybranych programów do mierzenia wydajności automatycznie aktywuje wszystkie rdzenie i ustawia ich taktowanie na wyższym niż standardowo poziomie (często maksymalnym).

Praktyki te według szacunków AnandTech niektórzy producenci stosują już od około dwóch lat, chociaż są też takie firmy, którym są one obce. Nie wszystkie smartfony "reagują" na te same programy - najczęściej dotyczy to popularnego AnTuTu. Pokazuje to poniższa tabela:

Jak widać, Nexusy i konsola Shield nie przechodzą w "tryb benchmarków" w żadnym z programów. Wynika to z faktu, że wykorzystują one czystego Androida (konkretnie AOSP). Nie dotyczy to jednak modeli Google Play Edition Samsunga czy HTC, które mają programowe dodatki zapewniające lepsze wyniki w testach wydajności. Nowsze modele Motoroli są wolne od tego typu zmian, chociaż Anand nie jest pewny, czy dotyczy to także wcześniejszych komórek firmy.

Z badań AnandTech wynika, że nawet LG G2 wykazuje wchodzenie na wyższe obroty w wybranych programach. Nie obejmuje to jednak tak wielu aplikacji jak w przypadku smartfonów Samsunga. Mniejszy jest również poziom wydajności, na który wskakuje telefon w "trybie benchmarkowym". Dodatki podnoszące działanie układu stosuje HTC w tańszych modelach (One mini) czy Asus, który na pozór korzysta z niemal niezmodyfikowanego Androida (jak widać, chodzi głównie o UI).

Jak wspomniałem, nie każdy benchmark cieszy się zainteresowaniem producentów. Zaskakujący jest jednak fakt, że dotyczy to nawet urządzeń tego samego producenta. Dobrym przykładem są modele Samsunga - na domiar złego te nowsze zachowują się specyficznie w coraz większej liczbie testów (Galaxy Note 3). Zresztą to niejedyne ciekawe wnioski, ale nie ma sensu rozwodzić się teraz nad technikaliami (zainteresowani powinni prześledzić wpis na AnandTech, naprawdę warto).

Jak już wczoraj pisałem i jak poinformował w podsumowaniu serwis Anandtech, działanie tego typu jest po prostu głupie. W większości benchmarków układ nie potrzebuje odgórnego nakazu pracy na wyższych obrotach, ponieważ podczas testu i tak osiąga ten poziom (widać to na powyższym wykresie). Celowa optymalizacja pod benchmarki jest też działaniem, które daje mało realnych korzyści (różnice nie są powalające), a odbija się na zaufaniu do producentów. Jeśli firmy nie odejdą od takich praktyk, nie będzie miarodajnych programów, z których można korzystać podczas testów nowych urządzeń...

Źródło: AnandTech