Tryb astrofotograficzny w Pixelu 4 jest ciekawszy niż myślisz

Google podzielił się zastosowanymi technologiami i rozwiązaniami w ulepszonym trybie Night Sight. Muszę przyznać, że naprawdę się postarał.

Kiedyś jeśli chciałeś uwiecznić widok gwiazd i drogi mlecznej, to nie mialeś innej opcji niż kupno profesjonalnego sprzętu. Koniecznością był zakup profesjonalnego aparatu z dużą, pełnoklatkową matrycą. Do tego jasny, ciężki i pękaty obiektyw - najlepiej szerokokątny, dla zmniejszenia wpływu ruchu gwiazd i wydłużenia czasu ekspozycji.

Niezbędny był oczywiście stabilny statyw - nawet 30-sekundowy czas naświetlania wymagał unieruchomienia aparatu w celu uzyskania nieporuszonego zdjęcia. Po zrobieniu zdjęcia zostawała jeszcze umiejętna obróbka, uwzględniająca szumy będące konsekwencją podwyższonego ISO. I voila! Zdjęcie gotowe.

A dziś? Dziś może wystarczyć Pixel 4 Google'a.

Sensory fotograficzne nie są doskonałe. Im słabsze warunki oświetleniowe, tym więcej cyfrowego ziarna ukazuje się na zdjęciu. Można łatwo wydedukować, że jakość zdjęcia jest wprost proporcjonalna do ilości światła padającego na powierzchnię matrycy.

W ciemnych warunkach istnieje opcja wydłużenia czasu naświetlania, jednak powoduje to rozmycie poruszających się obiektów - tym większe, im dłużej oświetlany jest sensor. Oprócz niewyraźnych obiektów w ruchu rozmywa się cała fotografia - widać to zwłaszcza przy zdjęciach z ręki. Mobilne ujęcia wykonywane są głównie w taki właśnie sposób. Dlatego Night Sight nie wykonuje jednej długiej ekspozycji.

Zamiast tego tworzy pojedyncze, krótkie zdjęcia, które następnie są wzajemnie dopasowywane, co kompensuje rozmycie oraz ruchy kamery. Następnym etapem jest uśrednienie klatek w celu usunięcia szumu. Należy zaznaczyć, że miejsca, których nie da się idealnie dopasować, są traktowane ze szczególną ostrożnością. O ile pojedyncze ekspozycje mogą być fatalnie zaszumione, o tyle wyrównane i uśrednione zdjęcie wygląda już dużo lepiej.

Google postanowił udoskonalić wersję trybu Night Sight (zaprezentowanego pierwotnie w Pixelach 3 i 3a). W tym celu przeprowadził badania fotografii nocnej, ze szczególnym uwzględnieniem fotografii gwiazd. Zgodnie z oczekiwaniami, dla uzyskania dobrej jakości zdjęć, potrzebne okazały się długie czasy naświetlania.

Użytkownicy wykazują pewną tolerancję jeśli chodzi o rozmycie obiektów na zdjęciu. Są oni w stanie przymknąć oko na rozmyte gałęzie drzew czy chmury na niebie, o ile reszta zdjęcia jest ostra. Gwiazdy w kształcie linii jednak nie przejdą. Google znalazł na to remedium.

Zastosowano ten sam mechanizm dzielenia naświetlenia na pojedyncze, krótkie klatki. Tym razem jednak dopasowano go tak, aby punkty na niebie nie rozmywały się pod wpływem ruchu nieboskłonu.

Ciekawostka: wystarczy już ok. 20-30 sekund, żeby uchwycić ruch nieba na zdjęciu.

Użytkownicy nie są cierpliwi i się nie dziwię - trzymanie telefonu przez kilka minut w jednej pozycji nie jest komfortowe. Wobec tego Google postanowił ograniczyć tryb Night Sight do 15 klatek z maksymalnym czasem ekspozycji pojedynczej klatki wynoszącym 16 sekund. Pozwala to na uchwycenie wystarczającej ilości światła do złożenia zdjęć.

Długie czasy naświetlania powodują pojawianie się na matrycy zjawiska gorących pikseli. Są to pojedyncze punkty obrazu, które mają dużo wyższą jasność niż otaczające je obszary i pojawiają się na zdjęciu jako białe lub kolorowe kropki.

Im dłuższy czas wykonywania zdjęcia, tym efekt jest bardziej widoczny. Gorące piksele są zjawiskiem normalnym i występują nawet w profesjonalnych aparatach fotograficznych, jednak degradują jakość obrazu i wymagają usunięcia.

Google w Night Sight zastosował prosty algorytm: porównuje on wartości pikseli z ich otoczeniem. Jeśli są znacząco jaśniejsze, to usuwane są za pomocą uśrednienia wartości z sąsiednich punktów.

Wizjerem telefonu jest oczywiście jego ekran. To, co widzi sensor jest na bieżąco wyświetlane, dzięki czemu użytkownik widzi, co będzie zawierało potencjalne zdjęcie. Niestety w naprawdę słabych warunkach jedyne co zobaczy to ciemnoszara, zaszumiona plama.

Google w Night Sight zastosował specyficzny sposób na obejście tego problemu. Aparat nie pokazuje pojedynczych, krótkich klatek, tylko podgląd stworzony z jednej, długiej ekspozycji. Jest on uaktualniany zaraz po naświetleniu poprzedniej.

Fakt, mamy wtedy do czynienia ze znacznym opóźnieniem, jednak jest to wystarczające do wykadrowania zdjęcia. Przyznacie, że lepsze to niż czarna plama bez szczegółów.

W dzień autofocus w smartfonie działa sprawnie i skutecznie. Nic dziwnego - tak jak piksele na matrycy on też potrzebuje odpowiedniego natężenia światła. W przeciwnym wypadku działa bardzo wolno i zaczyna błądzić. Wynika to z tego, że postępujące szumy uniemożliwiają systemowi ostrzenia szacowanie ostrości obrazu.

W takiej sytuacji Night Sight naświetla dwie klatki, każdą nawet przez sekundę. Są one przeznaczone dla autofokusa i oprogramowanie nie używa ich przy składaniu finalnego zdjęcia. Zbierają one jednak wystarczająco światła, aby umożliwić szacowanie ostrości i w efekcie uzyskanie wyraźnego zdjęcia.

Czasem jednak jest tak ciemno, że nie pomaga nawet i to. Wtedy aparat ostrzy w nieskończoność. Na dodatek Google udostępnił manualne ostrzenie, choć jestem ciekaw, na ile ono pomaga. Muszę jednak pochwalić firmę za to, że pomyślała o każdym scenariuszu.

Oprogramowanie aparatu ma tendencję do nadmiernego rozjaśniania nieba. Sprawia to, że osoba oglądająca zdjęcie ma wrażenie, że widzi ujęcie za dnia. Daje to dosyć dziwny efekt zwłaszcza, kiedy na fotografii widać gwiazdy. Rozwiązaniem tego problemu jest wybiórcze przyciemnianie nieboskłonu.

Google użył sieci neuronowych do nauczenia algorytmu rozpoznawania nieba. Był on trenowany za pomocą 100 000 zdjęć. Na każdym z nich manualnie zaznaczony został obszar sklepienia niebieskiego. Wykrywanie nieba przydało się również w innym celu - do specyficznego odszumiania, z uwzględnieniem delikatnych gradientów, gwiazd i chmur.

Technologia Google Night Sight pozwala osiągnąć oszałamiające efekty. Do tej pory taka jakość fotografii była zarezerwowana jedynie dla profesjonalnych aparatów fotograficznych. Spójrzcie tylko na te zdjęcia. Jeśli bym Wam nie powiedział, że zostały wykonane smartfonem, uwierzylibyście? No właśnie, ja też nie.

Zdjęcia mają rzeczywiste kolory, są wyraźne, szczegółowe i poprawnie naświetlone. Próżno szukać na nich artefaktów. Okej, przy powiększeniu pokazują się pewne niedoskonałości, jednak mimo wszystko efekty robią niesamowite wrażenie.

Zauważę tutaj, że Pixele wcale nie mają w obecnej chwili najlepszych matryc. Ich siłą jest oprogramowanie, które jest genialnie opracowane i wyciska z nich 200 proc.

Wyobraźcie sobie teraz tryb Night Sight na sensorze Samsung HMX zastosowanym np. w Xiaomi Mi Note 10 - największej matrycy, jaką w ostatnich czasach zastosowano w telefonie. To musi być kosmos. Dosłownie.

Z niecierpliwością czekam na dalszy rozwój aparatów w smartfonach. Mam pewne przemyślenia na ten temat... ale o nich opowiem innym razem. Dajcie znać, co myślicie o Google Night Sight i jak wyobrażacie sobie przyszłość fotografii mobilnej.