Maszynowe skalowanie zdjęć. Tak sztuczna inteligencja może zmienić oblicze mobilnej fotografii

Ostatnio trafiłem na narzędzie Deep-image. Służy do sztucznego zwiększania rozdzielczości zdjęcia. Brzmi jak ściema? Niekoniecznie.

Strona oparta jest na algorytmie działającym w oparciu o sztuczną inteligencję. Algorytm został nauczony tego, jak wyglądają te same zdjęcia w wersji z większą i mniejszą rozdzielczością. Dzięki temu potrafi "dodać" do fotografii szczegóły w trakcie skalowania rozdzielczości w górę. Na podobnej zasadzie działa RAISR Google'a. Brzmi to jak idealne rozwiązanie dla... telefonów.

Aparaty fotograficzne w smartfonach są dużo mniej zaawansowane niż pełnowymiarowe odpowiedniki. Główną przyczyną tego stanu rzeczy jest ograniczone miejsce.

Mniejsze matryce nie osiągną nigdy tak dobrych właściwości jak większe sensory. Zminiaturyzowane piksele łapią dużo mniej światła, co przekłada się na większe szumy, spadek poziomu detali i ogólnie gorszą jakość obrazu.

Podobnie sprawa wygląda z obiektywami. Malutkie soczewki nie pozwalają na budowanie tak zaawansowanych układów optycznych jak np. w obiektywach Sigmy serii Art.

W związku z czym musimy liczyć się z mniejszym światłem i gorszą korekcją wad optycznych, zwłaszcza w rogach obrazu.

Producenci dwoją się i troją, aby wycisnąć z mobilnych aparatów jak najwięcej. Tworzą rozmaite algorytmy zwiększające jakość obrazu oparte o sztuczną inteligencję i mechanizm składania zdjęć z wielu pojedynczych klatek.

Jednym z nich jest Deep Fusion zastosowany w iPhonie 11. Składa on zdjęcie z kilku ujęć o różnej ekspozycji i czasie naświetlania, dzięki czemu wynikowy kadr jest bardziej szczegółowy i wyraźny. Różnica może być subtelna lub widoczna na pierwszy rzut oka, w zależności od zdjęcia.

Bardziej efektowny jest tryb astrofotograficzny zastosowany w Pixelu 4. Tutaj zastosowano wieloklatkową redukcję szumów i składanie wielu klatek o różnym stopniu naświetlenia. SI dopasowuje pojedyncze ujęcia i odpowiada za obróbkę, co skutkuje zaskakująco dobrymi zdjęciami - nawet w świetle Księżyca.

Tak jak już wspomniałem, aparaty mobilne mają ograniczoną ilość miejsca, co nie pozwala na zastosowanie zarówno dużych, jasnych pikseli, jak i osiągnięcie wysokiej rozdzielczości jednocześnie. Fizycznie jest to niemożliwe. Wpadłem jednak na pewien pomysł. I jest on ściśle związany ze wspomnianym narzędziem Deep Image.

A gdyby tak skupić się na wielkości pojedynczego piksela, a dodatkową rozdzielczość osiągnąć za pomocą... skalowania algorytmem AI?

Wilk syty i owca cała - mamy zarówno jasne, pozbawione szumów zdjęcie jak i bogactwo detali w obrazie. I to bez łączenia pikseli ani kombinowania sygnału z dwóch matryc.

Taka technologia (przy odpowiednik wykorzystaniu) mogłaby wznieść poziom mobilnej fotografii na zupełnie nowy poziom przez wyciśnięcie ponad 100 proc. detali uchwyconych przez matrycę.

Sztuczna inteligencja mogłaby zostać też wykorzystana do korekcji wad optycznych najbardziej dających się we znaki w rogach kadru. Mydlany i rozmyty obraz w okolicach krawędzi to zmora smartfonowych obiektywów.

Tutaj pojawiają się pytania natury filozoficznej - czy takie "zdjęcie" to dalej zdjęcie? Wszak dodawanie szczegółów do zdjęcia, jak naturalnie by to nie wyglądało, to spora ingerencja w obraz. Wprawdzie sama obróbka jest też pewną formą ingerencji, jednak nie aż tak inwazyjną i bazuje tylko na tym, co utrwaliła matryca.

Zapytałem o zdanie Marcina Watemborskiego z Fotoblogii. Marcin zauważył, że fotografia cyfrowa to technicznie rzecz biorąc ciąg zer i jedynek, który i tak ulega modyfikacjom w czasie obróbki. Oto dalsza część komentarza:

Już dziś fotografia w smartfonach to de facto fotografia obliczeniowa, czyli taka, w której znaczny udział w tworzeniu wynikowego obrazu mają algorytmy komputerowe. W najnowszych telefonach obraz pierwotny jest już i tak znacznie "przemielony" przez oprogramowanie aparatu. I teraz pojawia się pytanie - kiedy zdjęcie przestaje być zdjęciem?

Odpowiedź na to pytanie jest trudna, podobnie jak rozwiązanie paradoksu statku Tezeusza. Jeśli wymieniamy po kolei części w statku, to w którym momencie "stary statek" staje się "nowym statkiem"? No właśnie. I to samo jest ze zdjęciami. Przy modyfikowaniu zdjęć ciężko jest wyznaczyć granicę, w której zdjęcie przestaje być zdjęciem, a zaczyna być fotomontażem/grafiką.

Czy będzie to nam się podobać czy nie - ingerencja oprogramowania prawdopodobnie będzie postępować wraz z rozwojem matryc i soczewek, co będzie jednak pchało jakość zdjęć do przodu.

Myślę, że to słuszna droga rozwoju aparatów w telefonach, chociaż obawiam się, że takie fotografie w pewien sposób stracą na autentyczności.

A jakie jest Wasze zdanie? Dajcie znać w komentarzach.