Sztuczna inteligencja a fotografia mobilna. Jak inteligentne algorytmy zmienią zdjęcia robione smartfonem

Smartfony z generacji na generację robią coraz lepsze zdjęcia, ale nie jest to zasługa wyłącznie sprzętowych udoskonaleń. Pod względem hardware'owym postęp jest niewielki, bo rozmiar telefonów daje producentom niewielkie pole do popisu. Fizykę da się jednak oszukać.

Świetnym przykładem tego, w jaki sposób oprogramowanie pozwala obejść fizyczne ograniczenia smartfonowych aparatów jest popularny ostatnio efekt bokeh. Stosowane w mobilnych urządzeniach komponenty są zbyt małe, by pozwoliły uzyskać ładne, soczewkowe rozmycie tła podczas fotografowania z odległości większych niż kilkanaście centymetrów.

Producenci znaleźli na to sposób - wiele popularnych telefonów potrafi rozmyć tło cyfrowo. Smartfon jest "uczony" rozpoznawania obiektów w kadrze i wykrywania pierwszego planu, w czym często pomaga drugi aparat. Fotografowany obiekt może dzięki temu zostać precyzyjnie wycięty z kadru, a cała reszta rozmyta.

Już teraz zdjęcia robione telefonami wyglądają prawie jak z lustrzanki. Zapewne jeszcze trochę i będę mógł usunąć z tego zdania wyraz "prawie".

Od dawna oprogramowanie telefonu ma nie mniejszy wpływ na jakość zdjęć niż zastosowany hardware. A może nawet i większy. W ostatnich latach trend ten się nasila, dlatego obecnie praktycznie żaden sprzętowy parametr - wielkość matrycy, rozdzielczość czy jakość zastosowanej optyki - nie oddaje fotograficznych możliwości urządzenia. Najważniejsze są zastosowane algorytmy, które odpowiadają za nasycenie kolorów, usunięcie szumów itp.

Na tym polu da się jeszcze wiele poprawić, co udowodniła firma Macphun. Jej desktopowy program do edycji zdjęć został niedawno wzbogacony o technologię Accent - AI Filter. Specjalne algorytmy analizują obiekty na zdjęciu, jego strukturę, kolory i wiele innych aspektów w celu poprawy jakości fotografii. Rezultaty są naprawdę imponujące.

Poniższe kiepskiej jakości zdjęcie zrobiłem pięć lat temu smartfonem Galaxy S II, który swoimi fotograficznymi możliwościami ustępuje dzisiejszym standardom. Wystarczyło jednak przepuścić to zdjęcie przez Accent - AI Filter i nagle staje się ono całkiem przyjemne dla oka.

Kwestia czasu aż algorytmy potrafiące odratować nawet naprawdę fatalne fotki zostaną zaimplementowane w smartfonach. Tego bowiem oczekują konsumenci - by zdjęcie wyglądało ładnie od razu po zrobieniu, a nie późniejszej obróbce.

Przechodzień zasłaniający fotografowany budynek, niefortunnie zaparkowany samochód, czyjś kapelusz uchwycony w kadrze - takie rzeczy potrafią nieodwracalnie popsuć nawet najlepsze zdjęcie. Cóż, nie do końca nieodwracalnie.

Z usuwaniem niechcianych obiektów można sobie radzić na wiele sposobów. Niektóre programy graficzne wykorzystują sąsiadujące piksele do wypełnienia pustej przestrzeni po usuniętym fragmencie zdjęcia. Galaxy S4 potrafił natomiast zrobić kilka zdjęć pod rząd i połączyć ich fragmenty w taki sposób, by na finalnej fotce nie było widać np. przejeżdżającego samochodu.

Podczas imprezy Google I/O 2017 gigant zapowiedział oparty na uczeniu maszynowym algorytm, który ma być w stanie z niespotykaną dotąd dokładnością pozbywać się niechcianych obiektów ze zdjęć.

Dzięki temu, że zdjęcie nie jest już dla komputera tylko nic nie znaczącym zlepkiem kolorowych punktów, będzie on w stanie "domyślić się", co dokładnie znajduje się w zasłoniętych partiach fotografii. Dokładnie tak jak zrobiłby to człowiek, bo każdy z nas po spojrzeniu na powyższe zdjęcie potrafiłby zwizualizować sobie, co znajduje się w miejscach za siatką. Gdy algorytm się tego nauczy, w połączeniu z narzędziami graficznymi będzie w stanie zdziałać cuda.

Chcąc w dużym stopniu przybliżyć fragment kadru, najlepiej jest zastosować zoom optyczny, ale ten wymaga zachowania dużego odstępu między soczewkami. To w przypadku telefonów nie jest mile widziane, bo w znacznym stopniu pogrubiłoby urządzenie.

Alternatywą jest zoom cyfrowy, ale aby ten był możliwie jak najmniej stratny, konieczne jest zastosowanie dużej matrycy o wysokiej rozdzielczości, co także wpływa na gabaryty telefonu.

Tymczasem Google pracuje nad technologią RAISR (Rapid and Accurate Image Super-Resolution), która potrafi w czasie rzeczywistym wyostrzyć rozpikselowane zdjęcie. Dzięki temu nawet bez soczewki przybliżającej i matrycy o wysokiej rozdzielczości możliwe będzie mocne wykadrowanie zdjęcia bez odczuwalnego spadku jakości.

Jak to działa? Przez algorytm przepuszcza się setki tysięcy par zdjęć, z który jedno jest dobrej, a drugie złej jakości. Program uczy się dzięki temu, w jaki sposób uzupełniać brakujące piksele, by poprawić jakość fotografii. Oprogramowanie zaczyna rozumieć, że te ząbkowane kreski nad oczami to brwi, które powinny być gładkie.

Tego typu algorytmy, gdy zostaną dopracowane do perfekcji, będą miały ogromne znacznie w przyszłości, gdy miniaturyzacja elektroniki wkroczy na kolejny poziom. Za 10 lat zdjęcia możemy przecież robić nie relatywnie dużymi telefonami, lecz okularami.

Zapewne zauważyliście, że ludzie wyglądają na selfie inaczej niż portretach czy zdjęciach robionych z większych odległości. Wpływ na to ma zbyt mała odległość twarzy od obiektywu. Przez to, że nos znajduje się dużo bliżej aparatu niż czoło czy uszy, zdaje się być uwypuklony, a osoba na zdjęciu wygląda jak swoja własna karykatura.

Również ten problem da się rozwiązać software'owo, co udowodniła firma Adobe. Pracuje ona nad algorytmami, które są w stanie skorygować zaburzone proporcje na selfie w taki sposób, by wyglądało na zrobione obiektywem portretowym.

Wykorzystywana jest platforma sztucznej inteligencji Adobe Sensei, która po przeanalizowaniu setek tysięcy zdjęć jest w stanie dostrzec prawidłowe wzorce i dzięki temu usunąć niedoskonałości.

Jeśli chodzi o wykorzystanie uczenia maszynowego w fotografii, postęp jest tak duży, że - kto wie - może w przyszłości praktycznie w ogóle nie będziemy potrzebowali profesjonalnych aparatów, wymiennych obiektywów, statywów, gimbali czy oświetlenia.

Wszystko to może zastąpić sztuczna inteligencja. Jak widać, ten proces rozpoczął się już na dobre.