Google wprowadza AI do Lens

Google ulepsza swoją aplikację do wyszukiwania wizualnego, Lens, dodając możliwość odpowiadania na pytania o otoczenie w czasie zbliżonym do rzeczywistego.

Użytkownicy Androida i iOS mówiący po angielsku, którzy mają zainstalowaną aplikację Google, mogą teraz rozpocząć nagrywanie wideo za pomocą Lens i zadawać pytania dotyczące obiektów znajdujących się w wideo.

Lou Wang, dyrektor ds. zarządzania produktem dla Lens, powiedział, że funkcja korzysta ze „spersonalizowanego” modelu Gemini do interpretacji wideo i odpowiednich pytań. „Załóżmy, że chcesz dowiedzieć się więcej o interesujących rybach,” powiedział Wang podczas briefingu prasowego. „[Lens] wygeneruje przegląd, który wyjaśni, dlaczego pływają w kółko, wraz z dodatkowymi zasobami i przydatnymi informacjami.”

Aby uzyskać dostęp do nowej funkcji analizy wideo w Lens, należy zarejestrować się w programie Search Labs Google oraz wyrazić zgodę na korzystanie z eksperymentalnych funkcji „AI Overviews and more” w Labs. W aplikacji Google przytrzymanie przycisku migawki smartfona aktywuje tryb nagrywania wideo w Lens.

Zadaj pytanie podczas nagrywania wideo, a Lens poda odpowiedź dostarczoną przez AI Overviews, funkcję w Google Search, która wykorzystuje AI do podsumowywania informacji z internetu.

Według Wanga, Lens wykorzystuje sztuczną inteligencję do określania, które klatki w wideo są najbardziej „interesujące” i istotne – a przede wszystkim, które są związane z zadanym pytaniem – i wykorzystuje je do „uzasadnienia” odpowiedzi z AI Overviews. „Wszystko to wynika z obserwacji, jak ludzie obecnie próbują korzystać z takich narzędzi jak Lens,” powiedział Wang. „Jeśli obniżysz barierę zadawania tych pytań i pomagania ludziom zaspokoić ich ciekawość, ludzie naturalnie zaczną z tego korzystać.”

Wprowadzenie funkcji wideo dla Lens następuje po podobnej funkcji, którą Meta zaprezentowała w zeszłym miesiącu dla swoich okularów AR, Ray-Ban Meta. Meta planuje wprowadzenie możliwości analizy wideo w czasie rzeczywistym do tych okularów, umożliwiając użytkownikom zadawanie pytań dotyczących otoczenia (np. „Jaki to rodzaj kwiatu?”).

OpenAI również zapowiedziało funkcję, która umożliwia narzędziu Advanced Voice Mode rozumienie wideo. Ostatecznie Advanced Voice Mode – premium funkcja ChatGPT – będzie w stanie analizować wideo w czasie rzeczywistym i uwzględniać kontekst w odpowiedziach.

Oprócz analizy wideo, Lens może teraz również wyszukiwać za pomocą obrazów i tekstu jednocześnie. Użytkownicy anglojęzyczni, w tym ci, którzy nie są zapisani do Labs, mogą uruchomić aplikację Google i przytrzymać przycisk migawki, aby zrobić zdjęcie, a następnie zadać pytanie, mówiąc na głos.

 

Pobierz ebook "Social media marketing dla firm i agencje się w nim specjalizujące"