Tak wygląda mapa głębi tworzona przez smartfony z podwójnymi aparatami

Jednym z popularniejszych zastosowań podwójnych aparatów jest funkcja wykrywania głębi i cyfrowego rozmywania tła. Jesteście ciekawi, na ile dokładna może być trójwymiarowa mapa przestrzeni zbudowana przez dwie sąsiadujące matryce?

To, że podwójny aparat jest w stanie wykryć różnice w odległości między obiektami, jest oczywiste. Ciężko jednak zrozumieć precyzję tej technologii widząc jedynie efekt finalny - zdjęcie z rozmytym tłem.

Podwójne aparaty - podobnie jak ludzki wzrok - wykorzystują zjawisko paralaksy. Na poniższym GIF-ie możecie zobaczyć dwa zdjęcia zrobione dokładnie w tym samym momencie przez oba aparaty Galaxy Note'a 8.

Im bliżej obiektywów znajduje się fotografowany obiekt, tym bardziej widoczne jest przesunięcie spowodowane kilkumilimetrowym odstępem między aparatami.

Porównując ze sobą oba zdjęcia, oprogramowanie telefonu jest w stanie przekalkulować odległość dzielącą konkretne obiekty. Potrafi dzięki temu odseparować pierwszy plan od tła i je rozmyć mieszając ze sobą sąsiadujące piksele. Im bardziej oddalony obiekt, tym silniejsze rozmycie. Efekt? Symulacja optycznego rozmycia możliwego do uzyskania za pomocą lustrzanek.

Spójrzcie na poniższe zdjęcie zrobione iPhone'em X z aktywnym trybem portretowym.

Normalnie użytkownik widzi tylko finalny efekt, ale wraz z systemem iOS 11 Apple udostępnił programistom dostęp do danych na temat głębi, które gromadzone są w chwili robienia zdjęcia. Korzystając z jednej z alternatywnych aplikacji (Anamorphic) wydobyłem mapę głębi tego konkretnego zdjęcia.

To jeszcze nic. Aplikacja Focos na podstawie wspomnianych danych buduje przestrzenny model, który można obracać. Widoczny jest dokładny odstęp między wszystkimi obiektami.

Operuję na przykładzie iPhone'a, ale na podobnej zasadzie działają wszystkie rozwiązania tego typu. Jak widać, mimo że odległość między dwoma obiektywami smartfonów jest nieporównywalnie mniejsza niż rozstaw ludzkich oczu, oprogramowanie nieźle wykrywa nie tylko odstępy między obiektami, ale i ich kształt.

Dodam jednak, że to dopiero początek całego procesu. Bazując tylko na zjawisku paralaksy, telefon miałby problem np. z odseparowaniem czarnych włosów od ciemnych obiektów w tle. Dlatego takie funkcje zazwyczaj wspierane są przez algorytmy rozpoznające na zdjęciach ludzi, zwierzęta i inne często fotografowane obiekty.

Na przykładzie iPhone'a X widzę, że z wykrywaniem głębi lepiej od podwójnego aparatu radzi sobie aparat TrueDepth do selfie. Wykorzystuje on projektor niewidzialnych gołym okiem kropek, które są następnie przechwytywane przez sensor podczerwieni. Oprogramowanie mierząc odległość między kropkami tworzy trójwymiarowy skan.

Mapy głębi budowane w taki sposób są zaskakująco precyzyjnie. Nie zdziwię się, jeśli w przyszłości takie rzutniki kropek staną się standardem w przypadku aparatów głównych. Rozmycie tła to dopiero początek potencjalnych zastosowań, bo dzięki tej technologii byłoby możliwe np. skanowanie obiektów do wydrukowania na drukarce 3D, a aplikacje rozszerzonej rzeczywistości stałyby się jeszcze lepsze.