Kilka słów o tym, dlaczego nie warto specjalnie sugerować się tym rankingiem podczas oceniania kondycji fotograficznej smartfonów.
DxOMark to serwis branżowy, który zajmuje się przeprowadzaniem profesjonalnych testów klasycznych aparatów i obiektywów oraz tych montowanych w smartfonach. W ostatnich latach prowadzony przez serwis ranking zyskał tak dużą renomę, że producenci smartfonów dosłownie zabijają się o możliwość pochwalenia się jak najwyższym wynikiem.
By nie szukać daleko - gdy wejdziecie na witrynę promocyjną poświęconą dopiero co zaprezentowanemu Xiaomi Mi CC9 Pro / Mi Note 10, jedną z pierwszych rzeczy, którą ujrzycie, będzie grafika z wynikiem testu DxO.
Wspomniany smartfon xiaomi zyskał 121 punktów, dzięki czemu wylądował na szycie rankingu; ex aequo z Huaweiem Mate 30 Pro. Przez sieć niesie się więc wieść, że oto mamy nowego króla mobilnej fotografii. Tylko czy aby na pewno? Cóż...
DxOMark: o czym mówi ocena w rankingu?
Mimo że każdy testowany smartfon ma przyznaną jedną ocenę, która determinuje jego pozycję w rankingu, wynik jest sumą kilkunastu składowych. Dokładnie 17.
DxO ocenia oddzielnie takie aspekty zdjęć jak ekspozycja, kolory, autofokus, tekstura, szum, artefakty, zdjęcia nocne, zoom, zdjęcia z rozmytym tłem oraz z ultraszerokokątnego obiektywu. Do tego niezależnie w podobny sposób oceniane są filmy.
Po uwzględnieniu wszystkich składowych ocen zdjęć i filmów wyciągany jest jeden wynik.
Problem w tym, że próba sprowadzenia aparatu do jednej liczby nie ma prawa się udać
Gdy ktoś pyta, który telefon ma najlepszy aparat, nie da się wskazać bezapelacyjnego faworyta. Wszystko dlatego, że dla każdego "dobry aparat" oznacza coś innego.
Mnie np. bardzo podoba się jakość zdjęć, które robi Pixel 4, ale w życiu nie kupiłbym telefonu bez ultraszerokokątnego obiektywu. Na fotograficzną wycieczkę wolałbym więc zabrać średniaka z potrójnym aparatem, który robi gorsze jakościowo fotki, ale jest bardziej wszechstronny.
Ale to tylko moje preferencje, a każdy ma prawo mieć własne. Jeśli dla kogoś kluczowa jest jakość fotek, jego osobisty ranking będzie wyglądał zupełnie inaczej.
Do tego dochodzą jeszcze inne aspekty. Przykładowo Huawei P30 Pro robi - w mojej ocenie - bezkonkurencyjne fotki w ciemności, ale już za dnia ustępuje chociażby Galaxy Note'owi 10. I jak w takiej sytuacji za pomocą jednej liczby ocenić, który aspekt jest ważniejszy?
Duży rozstrzał istnieje także w zestawieniu zdjęć i filmów. Wiele telefonów - mimo robienia fenomenalnych zdjęć - ma zaniżoną ocenę przez jakość wideo. A przecież nie każdy kręci telefonem filmy.
Tymczasem DxO próbuje tak wiele czynników sprowadzić do jednej liczby i miejsca w rankingu, który - co w tym wszystkim najgorsze - traktowany jest przez wielu jako wyrocznia.
DxOMark jest też moim zdaniem w swojej procedurze testowej zbyt konserwatywny
We wrześniu 2019 DxO ogłosiło, że wprowadza zmiany w swojej procedurze testowej. Od teraz ostateczna ocena obejmuje także tryb nocny oraz obiektyw ultraszerokokątny, przez co w rankingu z sekundy na sekundę nastąpiło przetasowanie.
Czujecie absurd tej sytuacji? W 2016 roku na rynek trafił LG G5 z dodatkowym aparatem z szerszym kątem. Był to wówczas fotograficzny killer-feature. DxOMark przez trzy lata nie brało jednak tego aspektu pod uwagę.
To samo dotyczy trybu nocnego. Pierwszym smartfonem, który miał taką funkcję, był Huawei P20 Pro z początku 2018 roku. Za to świetne skądinąd rozwiązanie punkty dostał jednak dopiero 1,5 roku po premierze.
Takie podejście jest dla aparatów smartfonów krzywdzące
Przykładów ponownie nie muszę szukać daleko. Wspomniany na początku Xiaomi Mi Note 10 ma z tyłu 5 aparatów, ale DxO sprawdziło tylko 4. Jak czytamy w pierwszym akapicie: "jest także osobny aparat makro, którego nasz protokół testowy DxOMark nie uwzględnia".
Więcej przykładów? Proszę bardzo. Huawei Mate 30 Pro wyróżnia się świetnym trybem super slow-motion, dzięki któremu potrafi nagrywać filmy w aż 256-krotnym spowolnieniu. Ten fakt nie wpłynął na jego miejscu w rankingu DxOMark w najmniejszym stopniu.
Huawei Mate 30 Pro: slow motion w 7680 kl/s
W mojej ocenie to absurdalne. Czyż oceniając fotograficzne możliwości smartfonów nie powinno się oceniać właśnie ich unikatowych możliwości? Patrzeć na aspekty, w których deklasują konkurencję tu i teraz? Jaki jest sens brania pod uwagę dodatkowych funkcji dopiero wtedy, gdy spowszednieją?
Działa to też w drugą stronę - ranking jest podatny na manipulacje
Myślę, że - znając procedurę testową - nie byłoby wielkim wyczynem zaprojektowanie telefonu w taki sposób, by zebrał jak najwyższe noty w rankingu. Olać wszystkie nieuwzględniane dodatki i skupić się na tym, co wpływa na ocenę.
Xiaomi Mi Note 10 zyskał bardzo dużo punktów dzięki obecności dwóch teleobiektywów. Galaxy Note10+ wygrał w 6 na 10 kategoriach, a w jednej zremisował, ale jego ostateczny wynik jest dużo niższy głównie przez słabszy zoom. Czy zasłużenie? Cóż, kwestia osobistych preferencji.
Dlatego pisząc o nowych smartfonach na łamach Komórkomanii z reguły unikamy nawet wspominania o rankingu DxO. Ten wyniki mówią zbyt mało o czymkolwiek, by warto było się nimi sugerować.