Maszynowe skalowanie zdjęć. Tak sztuczna inteligencja może zmienić oblicze mobilnej fotografii

Maszynowe skalowanie zdjęć. Tak sztuczna inteligencja może zmienić oblicze mobilnej fotografii

Maszynowe skalowanie zdjęć. Tak sztuczna inteligencja może zmienić oblicze mobilnej fotografii
Patryk Korzeniecki
31.01.2020 10:46, aktualizacja: 31.01.2020 11:46

Doczekaliśmy się już mobilnych aparatów, które potrafią zrobić dobre zdjęcie nie tylko za dnia, ale i w nocy. Mimo wszystko wojna na piksele i ich łączenie trwa w najlepsze, jednak to może nie być jedyna słuszna droga do osiągnięcia wyższej jakości mobilnych zdjęć.

Ostatnio trafiłem na narzędzie Deep-image. Służy do sztucznego zwiększania rozdzielczości zdjęcia. Brzmi jak ściema? Niekoniecznie.

Strona oparta jest na algorytmie działającym w oparciu o sztuczną inteligencję. Algorytm został nauczony tego, jak wyglądają te same zdjęcia w wersji z większą i mniejszą rozdzielczością. Dzięki temu potrafi "dodać" do fotografii szczegóły w trakcie skalowania rozdzielczości w górę. Na podobnej zasadzie działa RAISR Google'a. Brzmi to jak idealne rozwiązanie dla... telefonów.

Mobilna fotografia to walka z kompromisami

Aparaty fotograficzne w smartfonach są dużo mniej zaawansowane niż pełnowymiarowe odpowiedniki. Główną przyczyną tego stanu rzeczy jest ograniczone miejsce.

estherpoon / Shutterstock.com
estherpoon / Shutterstock.com© Matryca w telefonie wygląda jak zabawka przy sensorze z pełnowymiarowego aparatu

Mniejsze matryce nie osiągną nigdy tak dobrych właściwości jak większe sensory. Zminiaturyzowane piksele łapią dużo mniej światła, co przekłada się na większe szumy, spadek poziomu detali i ogólnie gorszą jakość obrazu.

Mobilne układy soczewek są miniaturowe - dlatego nigdy nie dogonią jakością pełnowymiarowych odpowiedników
Mobilne układy soczewek są miniaturowe - dlatego nigdy nie dogonią jakością pełnowymiarowych odpowiedników© unsplash.com

Podobnie sprawa wygląda z obiektywami. Malutkie soczewki nie pozwalają na budowanie tak zaawansowanych układów optycznych jak np. w obiektywach Sigmy serii Art.

W związku z czym musimy liczyć się z mniejszym światłem i gorszą korekcją wad optycznych, zwłaszcza w rogach obrazu.

Sprzętowe braki nadrabiają algorytmy

Producenci dwoją się i troją, aby wycisnąć z mobilnych aparatów jak najwięcej. Tworzą rozmaite algorytmy zwiększające jakość obrazu oparte o sztuczną inteligencję i mechanizm składania zdjęć z wielu pojedynczych klatek.

Zdjęcie autorstwa Nicholasa Wray'a Wilsona wykonane Pixelem 4 (photos.google.com)
Zdjęcie autorstwa Nicholasa Wray'a Wilsona wykonane Pixelem 4 (photos.google.com)

Jednym z nich jest Deep Fusion zastosowany w iPhonie 11. Składa on zdjęcie z kilku ujęć o różnej ekspozycji i czasie naświetlania, dzięki czemu wynikowy kadr jest bardziej szczegółowy i wyraźny. Różnica może być subtelna lub widoczna na pierwszy rzut oka, w zależności od zdjęcia.

Tryb Deep Fusion
Tryb Deep Fusion© materiały Apple

Bardziej efektowny jest tryb astrofotograficzny zastosowany w Pixelu 4. Tutaj zastosowano wieloklatkową redukcję szumów i składanie wielu klatek o różnym stopniu naświetlenia. SI dopasowuje pojedyncze ujęcia i odpowiada za obróbkę, co skutkuje zaskakująco dobrymi zdjęciami - nawet w świetle Księżyca.

AI ma jeszcze niewykorzystany potencjał

Tak jak już wspomniałem, aparaty mobilne mają ograniczoną ilość miejsca, co nie pozwala na zastosowanie zarówno dużych, jasnych pikseli, jak i osiągnięcie wysokiej rozdzielczości jednocześnie. Fizycznie jest to niemożliwe. Wpadłem jednak na pewien pomysł. I jest on ściśle związany ze wspomnianym narzędziem Deep Image.

A gdyby tak skupić się na wielkości pojedynczego piksela, a dodatkową rozdzielczość osiągnąć za pomocą... skalowania algorytmem AI?

Obraz
Obraz;

Wilk syty i owca cała - mamy zarówno jasne, pozbawione szumów zdjęcie jak i bogactwo detali w obrazie. I to bez łączenia pikseli ani kombinowania sygnału z dwóch matryc.

Taka technologia (przy odpowiednik wykorzystaniu) mogłaby wznieść poziom mobilnej fotografii na zupełnie nowy poziom przez wyciśnięcie ponad 100 proc. detali uchwyconych przez matrycę.

Sztuczna inteligencja mogłaby zostać też wykorzystana do korekcji wad optycznych najbardziej dających się we znaki w rogach kadru. Mydlany i rozmyty obraz w okolicach krawędzi to zmora smartfonowych obiektywów.

Czy to dalej będzie fotografia?

Tutaj pojawiają się pytania natury filozoficznej - czy takie "zdjęcie" to dalej zdjęcie? Wszak dodawanie szczegółów do zdjęcia, jak naturalnie by to nie wyglądało, to spora ingerencja w obraz. Wprawdzie sama obróbka jest też pewną formą ingerencji, jednak nie aż tak inwazyjną i bazuje tylko na tym, co utrwaliła matryca.

Zapytałem o zdanie Marcina Watemborskiego z Fotoblogii. Marcin zauważył, że fotografia cyfrowa to technicznie rzecz biorąc ciąg zer i jedynek, który i tak ulega modyfikacjom w czasie obróbki. Oto dalsza część komentarza:

Wyostrzanie zdjęcia na zasadzie wykrywania krawędzi i ich podkreślaniu jest podobnym procesem, tylko bardziej prymitywnym. Powiedzmy, że to dodawanie szczegółów to po prostu ułatwienie sobie życia, a nie "prawdziwa fotografia", przez którą rozumiem fotografowanie na błonie światłoczułej.

Już dziś fotografia w smartfonach to de facto fotografia obliczeniowa, czyli taka, w której znaczny udział w tworzeniu wynikowego obrazu mają algorytmy komputerowe. W najnowszych telefonach obraz pierwotny jest już i tak znacznie "przemielony" przez oprogramowanie aparatu. I teraz pojawia się pytanie - kiedy zdjęcie przestaje być zdjęciem?

Obraz

Odpowiedź na to pytanie jest trudna, podobnie jak rozwiązanie paradoksu statku Tezeusza. Jeśli wymieniamy po kolei części w statku, to w którym momencie "stary statek" staje się "nowym statkiem"? No właśnie. I to samo jest ze zdjęciami. Przy modyfikowaniu zdjęć ciężko jest wyznaczyć granicę, w której zdjęcie przestaje być zdjęciem, a zaczyna być fotomontażem/grafiką.

Czy będzie to nam się podobać czy nie - ingerencja oprogramowania prawdopodobnie będzie postępować wraz z rozwojem matryc i soczewek, co będzie jednak pchało jakość zdjęć do przodu.

Myślę, że to słuszna droga rozwoju aparatów w telefonach, chociaż obawiam się, że takie fotografie w pewien sposób stracą na autentyczności.

A jakie jest Wasze zdanie? Dajcie znać w komentarzach.

Źródło artykułu:WP Komórkomania
Oceń jakość naszego artykułuTwoja opinia pozwala nam tworzyć lepsze treści.
Wybrane dla Ciebie
Komentarze (15)