Przyszłość fotografii mobilnej to oprogramowanie. A wszystko zaczęło się od Google Glass...

Okulary Google Glass okazały się niewypałem. Nie znaczy to jednak, że środki zainwestowane przez Google'a w ten projekt poszły na marne. Okazuje się, że rozwiązania użyte w Glassach mogą zrewolucjonizować branżę mobilnej fotografii. Oto krótka historia technologii Gcam.

Okulary Google Glass okazały się jednym wielkim falstartem. Były drogie, niedoskonałe i nie do końca przemyślane. Gdy niektóre restauracje i lokale usługowe zaczęły wprowadzać zakaz używania Glassów w trosce o prywatność swoich klientów, sytuacja stała się dramatyczna, a Google wycofał się z projektu. Inżynierowie zrozumieli, że do tematu AR trzeba podejść inaczej.

Jakby jednak nie było, zupełnie nowy rodzaj produktu wymusił na pracownikach Google'a zaprojektowanie całkowicie nowych rozwiązań. W końcu inteligentne okulary, to nie smartfon, tylko sprzęt wymagający obmyślenia niektórych technologii od nowa.

Dobrym przykładem jest aparat zainstalowany w okularach. Jako że miały być one nierozróżnialne od zwykłych okularów, projektanci musieli umieścić w oprawkach naprawdę mały obiektyw i matrycę. Takie ograniczenie pociąga oczywiście za sobą sporo niekorzystnych konsekwencji, takich jak na przykład znacznie gorsza jakość zdjęć w słabszych warunkach oświetleniowych. Mała matryca światłoczuła przechwytuje przecież znacznie mniej światła, a więc nocne fotki i filmy byłyby zaszumione i rozmazane.

Inżynierowie nie mogli jednak zainstalować większych podzespołów, bo okulary przestałyby wtedy wyglądać jak... okulary. Utworzona została więc grupa Gcam, która miała ten problem rozwiązać w zupełnie inny sposób.

Ekipa projektu Gcam postanowiła skupić się na oprogramowaniu. Według niej, z każdej matrycy i układu optycznego da się wyciągnąć znacznie więcej niż do tej pory. Inżynierowie opracowali technologię fuzji obrazu, która w uproszczeniu polegała na łączeniu wielu zdjęć zrobionych w krótkich odstępach czasu, w jedno charakteryzujące się dużo wyższą jakością.

Dzięki temu zdjęcia twarzy zrobione pod światło były wyraźne i odpowiednio naświetlone, a w fotografii krajobrazowej cienie nie gubiły szczegółów, a niebo nie było przepalone. Można więc powiedzieć, że Gcam stworzyło coś na wzór trybu HDR powszechnego w fotografii od lat. W tym jednak przypadku rozwiązanie było znacznie bardziej zaawansowane.

Każde zdjęcie miało być bowiem "zlepkiem" nawet kilkunastu fotografii źródłowych. Każda z nich charakteryzowała się wielokrotnie niższą ekspozycją niż finalna fotka, aby po połączeniu informacji z nich wszystkich, finalny efekt był jak najlepszy.

Co ważne, zdjęcia nie są wykonywane jak w przypadku HDR, po wciśnięciu spustu migawki. Oprogramowanie opracowane przez Gcam robi zdjęcia ciągle (w zależności od oświetlenia 15-30 zdjęć na sekundę). Gdy użytkownik wykona zdjęcie, algorytmy wykorzystają informacje zebrane z ostatnich kilkunastu klatek i kilku kolejnych. Informacje ze zdjęć są łączone w taki sposób, że nawet przy dynamicznych ujęciach finalna fotka powinna być ostra i szczegółowa.

Mimo że Glassy wyposażone w aparaty z oprogramowaniem Gcam okazały się niewypałem i nie trafiły w ducha czasu, omawiana technologia znalazła zastosowanie w wielu smartfonach dostępnych obecnie na rynku. Mam tutaj na myśli chociażby Nexusa 5 czy 6, których aplikacja fotograficzna była wyposażona w funkcję HDR+. Jej działanie opierało się właśnie na rozwiązaniu z Glassów.

Google poszedł ostatnio o krok dalej, wykorzystując technologię HDR+ w aparatach Google Pixel jako domyślny tryb fotografowania. Każde zdjęcie zrobione przez flagowe smartfony Google'a składa się więc tak naprawdę z kilkunastu innych zrobionych w tle fotek.

Między innymi właśnie dzięki temu, Pixel został okrzyknięty przez DxOMark smartfonem z najlepszym aparatem na świecie. Co prawda, przy codziennym użytkowaniu ma on swoje wady (na przykład problem z flarami), ale pod względem algorytmów za nim się kryjących, rzeczywiście nie ma sobie równych. A wszystko to dzięki temu, że Google Glass wymusiło stworzenie rozwiązania, które obejdzie problem malutkich matryc i wad jakie za sobą pociągają.

Przyszłość mobilnej fotografii jest według mnie dosyć oczywista. Matryce aparatów, a przede wszystkim układy optyczne zostały dopracowane już do tego stopnia, że na dalszy rozwój wkrótce nie pozwolą prawa fizyki. Jedynym hardware'owym rozwiązaniem, które znacząco polepszyłoby fotograficzny możliwości mobilnego sprzętu, byłoby fizyczne powiększenie elementów składowych aparatu. W dobie walki na milimetry jest to jednak praktycznie niemożliwe. Pozostają więc rozwiązania software'owe.

Algorytmy mogą zdziałać cuda. Nie chodzi tu nawet o samą jakość rejestrowanych fotografii, ale również na przykład o stabilizację obrazu przy nagrywaniu wideo. Ciężko zastosować wydajny system stabilizacji optycznej, bo w obudowie jest ciasno. Można natomiast wykorzystać informacje zebrane przez żyroskop do software'owej kompensacji drgań.

Warto na koniec zauważyć, że smartfony z podwójnymi aparatami fotograficznymi to wbrew pozorom bardzo podobny trend do tego zapoczątkowanego przez grupę Gcam. W przeciwieństwie do wielu zdjęć zrobionych w krótkim odstępie czasu, algorytmy łączą tu informacje zebrane przez dwa aparaty, które wykonały równocześnie dwa podobne, ale nie identyczne zdjęcia. Jest to alternatywny sposób na obejście ograniczeń fizycznych mobilnego układu optycznego.

Sądzę, że w ciągu kilkunastu najbliższych miesięcy ujrzymy pierwsze smartfony z trzema lub czterema aparatami. Każdy z nich, nie dość, że będzie sam w sobie łączył informacje z kilku zrobionych w serii zdjęć, będzie odpowiadał tylko za część finalnego zdjęcia. Każda matryca przechwyci lekko inną wersję rzeczywistości. Pomijam już temat uczenia maszynowego i sieci neuronalnych, dzięki którym algorytmy, z biegiem czasu, będą ulepszały się samoistnie.