Wow! Mam nadzieję, że to rozwiązanie Qualcomma szybko trafi do smartfonów

Snapdragony to nie tylko autorskie rdzenie, układy graficzne czy modemy Qualcomma. Amerykanie od lat starają się tworzyć kompleksowe rozwiązania SoC (system-on-a-chip), dające producentom dostęp do całej masy technologii. Wśród nich można wymienić zaawansowane chipy DSP z serii Hexagon, kodek Aqstic gwarantujący dźwięk Hi-Fi, funkcję szybkiego ładowania Quick Charge czy szereg hardware'owych i software'owych zabezpieczeń.

W ostatnim czasie firmy tworzące smartfony koncentrują się na aparatach, w tym rozwiązaniach z dwoma sensorami. Qualcomm chce być oczywiście konkurencyjny na tym polu i wprowadza nowe technologie fotograficzne, z których korzystać można będzie na sprzęcie opartym na Snapdragonach. Najnowsze rozwijane są w ramach projektu Spectra Module Program.

Ta inicjatywa amerykańskiej firmy ma umożliwić producentom sięganie po gotowe rozwiązania fotograficzne, bez konieczności wydawania dużych kwot na ich opracowywanie. Bazują one bowiem na możliwościach, jakie dają chipy ISP (Image Signal Processor) Qualcomm Spectra, które są częścią Snapdragonów.

Jedną z technologii, którą już teraz wykorzystują partnerzy, jest Clear Sight - system z matrycą RGB i dodatkowym sensorem monochromatycznym, dzięki któremu możliwe jest przechwycenie większej liczby detali. Teraz Qualcomm wprowadza trzy nowe rozwiązania bazujące na podczerwieni (IR):

• przednią kamerkę z funkcją skanowania tęczówki;
• system fotograficzny Entry-Level Computer Vision;
• system fotograficzny Premium Computer Vision.

Dwie ostatnie nazwy na pierwszy rzut oka nie mówią wiele, ale rozwiązania te prezentują się bardzo interesująco. Wykorzystują bowiem zaawansowaną funkcję wykrywania głębi. W systemie "Entry-Level" jest ona pasywna, podczas gdy w "Premium" postawiono na rozwiązanie aktywne i to jemu właśnie warto przyjrzeć się nieco bliżej.

Pod nazwą "Premium Computer Vision" kryje się nietypowy podwójny aparat, w którym główny moduł ma sensor - w zależności od konfiguracji - 16 Mpix lub 20 Mpix. Jego dopełnieniem są:

• promiennik IR;
• kamera na podczerwień.

Pierwszy z elementów generuje wiązkę promieniowania podczerwonego, która przechodzi przez specjalny filtr, dzięki czemu na powierzchni obiektu pojawia się siateczka kropek. Kamera na podczerwień jest w stanie odczytać powstały wzór - analizując odległości między kropkami i to, jak ułożone są na powierzchni, określana jest odległość przedmiotu od kamery.

Qualcomm chwali się, że system ten jest w stanie rozróżnić kropki w odległości 0,125 mm, ale jeszcze większe wrażenie robi zapowiedź rozpoznawania nawet 10 tys. poziomów oddalenia od kamery. Co to jednak dokładnie oznacza?

Producenci smartfonów walczą obecnie nie tylko na jakość obrazu. Ważne jest też dodatkowe funkcje usprawniające fotografowanie, w tym efekty. Jednym z najbardziej popularnych jest bokeh, czyli rozmycie tła, które uwydatnia osobę lub obiekt znajdujący się najbliżej aparatu.

Funkcja ta w smartfonowych aparatach dostępna jest od dawna i radzą z nią sobie nawet pojedyncze aparaty, ale zastosowanie podwójnego modułu pozwala dokładnie określić odległość obiektów w kadrze od kamery, a co za tym idzie - z większą dokładnością nałożyć rozmycie. Skupia się na tym szczególnie Huawei w promocji modeli z serii P10 z podwójnym aparatem.

Jeszcze lepsze rozwiązanie opracować miał jednak Sharp na potrzeby modelu Aquos S2, którego podwójny aparat wykrywa siedem poziomów głębi. Umożliwia to nie tylko dodawanie precyzyjnego bokeh, ale i wprowadzanie innych efektów, jak np. rozmycie bliższego i dalszego kadru pozostawiając środek ostrym.

Japończycy mówią tu o siedmiu poziomach, więc łatwo sobie wyobrazić, jak wzrosłaby precyzja algorytmów - zakładając oczywiście, że główny moduł robi szczegółowe fotki - mając do dyspozycji 70 poziomów głębi. Nie wspominając nawet o 10 tys., które zapowiada Qualcomm. To jednak dopiero początek.

System Qualcomma z kamerą na podczerwień można wykorzystać także w szeregu innych zastosowań. Taki podwójny aparat będzie bowiem w stanie (całkiem) precyzyjnie mapować przestrzeń znajdującą się w kadrze, co umożliwi dokładne nakładanie wirtualnych treści w aplikacjach AR. Na jego bazie można w dość prosty sposób stworzyć narzędzia podobne do ARKit, którym chwali się Apple.

Rozwiązanie wykorzystująca Spectra ISP może sprawdzić się również, jako narzędzie do tworzenia za pomocą smartfonów wirtualnych modeli 3D, które przenoszone są potem do komputerów i tam modyfikowane. Tym bardziej, że można liczyć na dość dokładny obraz powierzchni przedmiotu.

Tworzone modele 3D wykorzystane mogą być również na samych smartfonach. System Qualcomma powinien usprawnić działanie funkcji rozpoznawania twarzy. Może być używany tak w zabezpieczeniach, jak i algorytmach uczenia maszynowego (funkcje rozpoznawania bazujące na sztucznej inteligencji).

Zaprezentowany na materiale wideo Qualcomma prototyp z opcją aktywnego rozpoznawania głębi może wskazywać również na inne funkcje. Dotyczy to m.in. rozpoznawania rąk użytkownika, a nawet całej jego sylwetki, dzięki czemu smartfon mógłby działać podobnie do kontrolera Kinect - pozwalać na sterowanie w grach za pomocą ruchów ciała. Dotyczy to tak uruchamiania na TV gier z telefonu, jak i opcji uniwersalnego kontrolera, który może działać z konsolami.

Możliwości wykorzystania systemu Qualcomma jest naprawdę wiele, ale to które z nich zostaną wdrożone pozostaje w rękach producentów. W oparciu o technologię Qualcomma będą musieli stworzyć i wypromować odpowiednie rozwiązania. Kiedy można będzie spodziewać się pierwszych efektów ich prac?

No cóż, nowości amerykańskiej firmy muszą najpierw trafić na rynek. Teraz wiadomo jedynie, że te trzy moduły bazują na nowym ISP Spectra, który trafi do kolejnych topowych Snapdragonów (dopiero później pojawi się w tańszych układach). Wynika z tego, że do połowy przyszłego roku nie ma co raczej liczyć na smartfony z podwójnymi aparatami wykorzystującymi podczerwień.

Wątpliwości może budzić to, czy producenci będą w ogóle zainteresowani nowym systemem. Już teraz na rynku dostępne są w końcu bardzo dobre rozwiązania jak RealSense Intela czy Tango Google'a, a zainteresowanie nimi nie jest duże. Należy jednak pamiętać, że technologie zarówno giganta z Santa Clara, jak i tego z Mountain View, bazuje na rozbudowanym systemie kamer.

Nowość Qualcomma powinna być o wiele prostsza i tańsza w implementacji. Jeżeli więc cena wersji "Premium Computer Vision" nie będzie powalająca, to w niedalekiej przyszłości smartfony mogą być wzbogacone o naprawdę ciekawe dodatki.