Efekty AR w smartfonie z Google Tango

Efekty AR w smartfonie z Google Tango

Wow! Mam nadzieję, że to rozwiązanie Qualcomma szybko trafi do smartfonów

Qualcomm ostatnio przykłada się mocno nie tylko do opracowywanych układów i modułów łączności, ale i rozwiązań, które mają usprawnić działanie aparatów w smartfonach. Liczę na to, że najnowsza technologia firmy, która powstała w ramach projektu Spectra Module Program, szybko trafi na rynek mobilny.

Snapdragony to nie tylko autorskie rdzenie, układy graficzne czy modemy Qualcomma. Amerykanie od lat starają się tworzyć kompleksowe rozwiązania SoC (system-on-a-chip), dające producentom dostęp do całej masy technologii. Wśród nich można wymienić zaawansowane chipy DSP z serii Hexagon, kodek Aqstic gwarantujący dźwięk Hi-Fi, funkcję szybkiego ładowania Quick Charge czy szereg hardware'owych i software'owych zabezpieczeń.

W ostatnim czasie firmy tworzące smartfony koncentrują się na aparatach, w tym rozwiązaniach z dwoma sensorami. Qualcomm chce być oczywiście konkurencyjny na tym polu i wprowadza nowe technologie fotograficzne, z których korzystać można będzie na sprzęcie opartym na Snapdragonach. Najnowsze rozwijane są w ramach projektu Spectra Module Program.

Snapdragony obsłużą bardziej wymyślne aparaty

Ta inicjatywa amerykańskiej firmy ma umożliwić producentom sięganie po gotowe rozwiązania fotograficzne, bez konieczności wydawania dużych kwot na ich opracowywanie. Bazują one bowiem na możliwościach, jakie dają chipy ISP (Image Signal Processor) Qualcomm Spectra, które są częścią Snapdragonów.

Schemat systemu Qualcomm Clear Sight, który bazuje na ISP Spectra

Jedną z technologii, którą już teraz wykorzystują partnerzy, jest Clear Sight - system z matrycą RGB i dodatkowym sensorem monochromatycznym, dzięki któremu możliwe jest przechwycenie większej liczby detali. Teraz Qualcomm wprowadza trzy nowe rozwiązania bazujące na podczerwieni (IR):

  • przednią kamerkę z funkcją skanowania tęczówki;
  • system fotograficzny Entry-Level Computer Vision;
  • system fotograficzny Premium Computer Vision.

Dwie ostatnie nazwy na pierwszy rzut oka nie mówią wiele, ale rozwiązania te prezentują się bardzo interesująco. Wykorzystują bowiem zaawansowaną funkcję wykrywania głębi. W systemie "Entry-Level" jest ona pasywna, podczas gdy w "Premium" postawiono na rozwiązanie aktywne i to jemu właśnie warto przyjrzeć się nieco bliżej.

Podwójny aparat z kamerką na podczerwień

Pod nazwą "Premium Computer Vision" kryje się nietypowy podwójny aparat, w którym główny moduł ma sensor — w zależności od konfiguracji - 16 Mpix lub 20 Mpix. Jego dopełnieniem są:

Zobacz również: Appshaker 2 #5 - gry i aplikacje na Androida

  • promiennik IR;
  • kamera na podczerwień.

Pierwszy z elementów generuje wiązkę promieniowania podczerwonego, która przechodzi przez specjalny filtr, dzięki czemu na powierzchni obiektu pojawia się siateczka kropek. Kamera na podczerwień jest w stanie odczytać powstały wzór — analizując odległości między kropkami i to, jak ułożone są na powierzchni, określana jest odległość przedmiotu od kamery.

Qualcomm chwali się, że system ten jest w stanie rozróżnić kropki w odległości 0,125 mm, ale jeszcze większe wrażenie robi zapowiedź rozpoznawania nawet 10 tys. poziomów oddalenia od kamery. Co to jednak dokładnie oznacza?

Wykrywanie głębi to nie tylko efekt rozmycia tła

Producenci smartfonów walczą obecnie nie tylko na jakość obrazu. Ważne jest też dodatkowe funkcje usprawniające fotografowanie, w tym efekty. Jednym z najbardziej popularnych jest bokeh, czyli rozmycie tła, które uwydatnia osobę lub obiekt znajdujący się najbliżej aparatu.

Funkcja ta w smartfonowych aparatach dostępna jest od dawna i radzą z nią sobie nawet pojedyncze aparaty, ale zastosowanie podwójnego modułu pozwala dokładnie określić odległość obiektów w kadrze od kamery, a co za tym idzie — z większą dokładnością nałożyć rozmycie. Skupia się na tym szczególnie Huawei w promocji modeli z serii P10 z podwójnym aparatem.

Jeszcze lepsze rozwiązanie opracować miał jednak Sharp na potrzeby modelu Aquos S2, którego podwójny aparat wykrywa siedem poziomów głębi. Umożliwia to nie tylko dodawanie precyzyjnego bokeh, ale i wprowadzanie innych efektów, jak np. rozmycie bliższego i dalszego kadru pozostawiając środek ostrym.

Zdjęcie z Sharp Aquos S2 z rozmytym przednim i tylnym planem

Japończycy mówią tu o siedmiu poziomach, więc łatwo sobie wyobrazić, jak wzrosłaby precyzja algorytmów — zakładając oczywiście, że główny moduł robi szczegółowe fotki — mając do dyspozycji 70 poziomów głębi. Nie wspominając nawet o 10 tys., które zapowiada Qualcomm. To jednak dopiero początek.

Nie zabraknie też bardziej futurystycznych rozwiązań

System Qualcomma z kamerą na podczerwień można wykorzystać także w szeregu innych zastosowań. Taki podwójny aparat będzie bowiem w stanie (całkiem) precyzyjnie mapować przestrzeń znajdującą się w kadrze, co umożliwi dokładne nakładanie wirtualnych treści w aplikacjach AR. Na jego bazie można w dość prosty sposób stworzyć narzędzia podobne do ARKit, którym chwali się Apple.

Rozwiązanie wykorzystująca Spectra ISP może sprawdzić się również, jako narzędzie do tworzenia za pomocą smartfonów wirtualnych modeli 3D, które przenoszone są potem do komputerów i tam modyfikowane. Tym bardziej, że można liczyć na dość dokładny obraz powierzchni przedmiotu.

Tworzone modele 3D wykorzystane mogą być również na samych smartfonach. System Qualcomma powinien usprawnić działanie funkcji rozpoznawania twarzy. Może być używany tak w zabezpieczeniach, jak i algorytmach uczenia maszynowego (funkcje rozpoznawania bazujące na sztucznej inteligencji).

Zaprezentowany na materiale wideo Qualcomma prototyp z opcją aktywnego rozpoznawania głębi może wskazywać również na inne funkcje. Dotyczy to m.in. rozpoznawania rąk użytkownika, a nawet całej jego sylwetki, dzięki czemu smartfon mógłby działać podobnie do kontrolera Kinect — pozwalać na sterowanie w grach za pomocą ruchów ciała. Dotyczy to tak uruchamiania na TV gier z telefonu, jak i opcji uniwersalnego kontrolera, który może działać z konsolami.

Wszystko — jak zwykle — w rękach producentów smartfonów

Możliwości wykorzystania systemu Qualcomma jest naprawdę wiele, ale to które z nich zostaną wdrożone pozostaje w rękach producentów. W oparciu o technologię Qualcomma będą musieli stworzyć i wypromować odpowiednie rozwiązania. Kiedy można będzie spodziewać się pierwszych efektów ich prac?

No cóż, nowości amerykańskiej firmy muszą najpierw trafić na rynek. Teraz wiadomo jedynie, że te trzy moduły bazują na nowym ISP Spectra, który trafi do kolejnych topowych Snapdragonów (dopiero później pojawi się w tańszych układach). Wynika z tego, że do połowy przyszłego roku nie ma co raczej liczyć na smartfony z podwójnymi aparatami wykorzystującymi podczerwień.

System kamer Tango Google'a w Lenovo Phab2 Pro

Wątpliwości może budzić to, czy producenci będą w ogóle zainteresowani nowym systemem. Już teraz na rynku dostępne są w końcu bardzo dobre rozwiązania jak RealSense Intela czy Tango Google'a, a zainteresowanie nimi nie jest duże. Należy jednak pamiętać, że technologie zarówno giganta z Santa Clara, jak i tego z Mountain View, bazuje na rozbudowanym systemie kamer.

Nowość Qualcomma powinna być o wiele prostsza i tańsza w implementacji. Jeżeli więc cena wersji "Premium Computer Vision" nie będzie powalająca, to w niedalekiej przyszłości smartfony mogą być wzbogacone o naprawdę ciekawe dodatki.

Źródło: Qualcomm

Podziel się:

Przeczytaj także:

Także w kategorii Technologie:

Inteligentne okulary zastąpią smartfony? Microsoft nie ma wątpliwości Na jakim układzie będą działać przyszłoroczne flagowce? Znamy już odpowiedź Windows 10 na układach ARM. Nie, nie zainstalujecie go na swoich smartfonach Huawei ma ambitne plany. Co gigant przygotował na drugą połowę roku? Sequent - kinetyczny zegarek, któremu nigdy nie zabraknie energii To już oficjalne. Nowe nokie będą wyposażone w optykę Zeissa! Google ma świetny pomysł na to, jak wyróżnić Pixele na rynku smartfonów? Snapdragon 450 oficjalnie. Ten układ trafi do bardzo wielu smartfonów Smartfony przyszłości mogą mieć ultracienkie aparaty... bez obiektywów Sony stworzy bezramkowy smartfon? Ten ekran JDI to umożliwi! Ultradźwięki to przyszłość. Zobacz, jakie możliwości ze sobą niosą Quick Charge 4.0 nie zagościł dobrze na rynku, a już pojawia się jego lepsza wersja ARM Cortex-A75, Cortex-A55 i Mali-G72 oficjalnie. Jest się czym ekscytować Z HTC U11 przeniesiesz się do świata Ghost in the Shell. Zazdroszczę Japończykom tego dodatku Warto czekać na smartfony ze Snapdragonem 660 Android Go, czyli system Google'a w wersji dla budżetowych smartfonów Android O ma zwiększyć bezpieczeństwo i przyspieszyć działanie aplikacji! Sony Xperia XZ Premium to sprzęt, który spodoba się fanom dobrego brzmienia Co znajdziemy we wnętrzu iPhone'a 8? Są nowe wieści Galaxy S8 i starsze samsungi z darmowym oprogramowaniem antywirusowym Fuchsia OS to system Google'a, który zastąpi w przyszłości Androida? Snapdragon 660 i 630 oficjalnie. Średnia półka nabierze mocy Harman Kardon Invoke, czyli głośnik z Cortaną Microsoftu HiKey 960, czyli Huawei i Google wydają lepszą wersję Raspberry Pi

Popularne w tym tygodniu:

Pi - prawdziwie bezprzewodowa ładowarka. Naładuje twój telefon na odległość Ha, miałem nosa z holograficznym smartfonem RED Hydrogen One. Firma ujawnia zasadę jego działania Oto pomysły Google'a na wykorzystanie rozszerzonej rzeczywistości. Niektóre są genialne!