Oto jak Google udoskonalił tryb portretowy w Pixelach

Google znowu uchylił rąbka tajemnicy na temat Pixela 4. Wcześniej wyjaśnił, jak działa tryb astrofotograficzny. Tym razem tematem jest rozmywanie tła w portrecie.

Tryb portretowy to jeden z najczęściej używanych trybów fotograficznych we współczesnych telefonach. Pozwala na uzyskanie efektów podobnych do tych z aparatów z prawdziwego zdarzenia. Google przeszedł długą drogę, jednak firmie udało się opracować jeden z najlepszych algorytmów tego typu.

Efekty są naprawdę przekonywujące, a wszystko to dzięki uczeniu maszynowemu i odpowiedniemu wykorzystaniu sprzętu. Ale... jak Google to robi?

Pixele 2 i 3 generacji używały jedynie systemu dual pixel do oszacowania głębi. Opiera się on na podwójnych pikselach. Każdy z nich może niezależnie przyjmować światło. Dzięki temu za jednym przyciśnięciem migawki można uzyskać dwa zdjęcia, które będą różniły się jedynie przesunięciem. Im obiekt znajduje się dalej, tym jest bardziej się przemieszcza na ujęciu. Jest to efekt paralaksy i na nim bazował system portretowy w Pixelach 2 i 3.

Niestety, system był dosyć niedokładny. Wynikało to z bardzo słabej paralaksy, co utrudniało szacowanie odległości. Okazało się, że jest na to sposób.

Obiektywy w Pixelu 4 są oddalone od siebie o 13 mm, co pozwala na uzyskanie dużo większego przesunięcia. Paralaksa pomiędzy ujęciami dual pixel jest ledwo widoczna, jednak pomiędzy obiektywami jest bez problemu rozróżnialna.

Co więcej, paralaksa przy wykorzystaniu dual pixel lepiej rozróżnia poziome linie, a przy wykorzystaniu obiektywów - pionowe. Domyślacie się więc, co zrobił Google.

Tak - firma połączyła obie techniki, znacznie polepszając jakość wykrywania głębi. Myślę, że obraz wyrazi więcej niż 1000 słów. Spójrzcie więc na poniższe zdjęcie.

Jak widać, połączenie obu sposobów znacząco zredukowało ilość błędów i uczyniło mapowanie dużo dokładniejszym.

Bokeh (od jap. ボケ boke – rozmycie) to technika selektywnego ustawienia ostrości, w której obiekt jest ostry, a to co za nim i przed nim rozmyte. Pozwala to na odseparowanie go od tła i skupienie wzroku oglądającego na nim. Poza tym - bokeh jest zwyczajnie przyjemne dla oka i jest często używane jako środek artystycznego wyrazu.

Przy rozmywaniu tła pojedyncze punkty świetlne powiększają się i zamieniają w jasne koła. Mimo dużego powiększenia znajdują się po "jaśniejszej stronie mocy" i są bardzo dobrze widoczne. Wynika to z tego, że największą podatność na bokeh wykazują najjaśniejsze plamy obrazu.

Żeby uzyskać efekt bokeh, Google zastąpił każdy piksel przezroczystym dyskiem. Jego rozmiar bazowany jest na głębi - im punkt jest dalej, tym wynikowy dysk jest większy. Do tej pory rozmywanie odbywało się po obróbce zdjęcia, co uniemożliwiało to uzyskanie kontrastowego rozmycia.

Rozwiązanie było proste - wystarczyło zmienić kolejność kroków algorytmu. Najpierw rozmywany jest obraz, a dopiero potem przeprowadzana jest obróbka (mapowanie tonów). Skutkuje to bardziej kontrastowym bokeh i przy okazji lepszym nasyceniem kolorów tła.

Jak widzicie, algorytmy to potężna broń. Mimo, że Pixele nie wykorzystują najlepszych matryc na rynku, to jednak pozwalają na uzyskanie wysokiej jakości obrazu - a wszystko to dzięki dopracowanemu oprogramowaniu. Pisałem już o innym osiągnięciu Google'a - trybie astrofotograficznym pozwalającym na osiągnięcie spektakularnych efektów w nocy.

Google jest jednym z liderów jeśli chodzi o oprogramowywanie matryc mobilnych. Jeśli w następnym Pixelu użyłby matrycy Samsung HMX lub domniemanego sensora 144 MP, to mógłby zmieść konkurencję. Tak się raczej nie stanie - a szkoda.