Reklama targetowana po emocjach - kiedy to będzie możliwe? Wywiad z Julią Jarkiewicz i Rafałem Kocielnikiem, twórcami systemu do rozpoznawania emocji na podstawie zdjęć.
Od 2006 Polsko Japońska Wyższa Szkoła Technik Komputerowych co roku organizuje seminarium o inferfejsach użytkowników – Kaisen. Tegoroczna edycja odbyła się 30 maja w budynku głównym PJWSTK na Koszykowej. Seminarium było bardzo dobrze zorganizowane z kilku powodów:
- uczelnia posiada fantastyczne zaplecze technologiczne i multimedialne,
- Kansei był transmitowany na żywo w Internecie,
- utrzymano dyscyplinę czasową,
- było dużo ciasteczek ;-)
Na seminarium poruszono tematykę eye-tracking, augmented reality i poprawy użyteczności w e-commerce.
Najbardziej moją wyobraźnię poruszyła prezentacja przygotowana przez absolwentów PJWSTK. Julia Jarkiewicz i Rafał Kocielnik zademonstrowali system automatycznie rozpoznający emocje na podstawie zdjęć. Projekt stanowił pracę magisterską autorów. System działa na następującej zasadzie: analizowane jest 17 punktów charakterystycznych na twarzy i na tej podstawie dochodzi do detekcji emocji. System testowano na bazie JAFFE (Japanese Female Expression Database) i w 77% przypadków 7 podstawowych emocji (strach, smutek, złość, radość, zaskoczenie, odraza oraz obojętność) było właściwie sklasyfikowanych.
Reklama "emotargetowana" – na czym miałoby to polegać?
Z góry mówię, że nie chodzi o to ;-)
Wyobraźmy sobie taką sytuację. Przeglądasz strony internetowe na swoim laptopie w domu. To jakiś potworny dzień. Pada i jest pochmurno. W dodatku szef dziś Cię zbeształ, za coś na co zupełnie nie masz wpływu. W sklepie zabrakło pieczywa, a podczas drogi powrotnej ochlapał Cię samochód, który wjechał w kałużę. Nie chcę się żyć po prostu. I wtem Twoją uwagę przykuwa slogan reklamy „Masz rację - życie nie ma sensu! Czemu więc nie pojechać na urlop?”. Zazwyczaj nie klikasz w reklamy, ale tym razem czujesz, że to nie może być zwykły przypadek, więc przechodzisz na stronę reklamodawcy...
Inny przykład: zapraszasz najbliższych przyjaciół na wieczór ze śmiesznymi filmikami. Macie piwo, chipsy i oglądacie YT, JoeMonster lub cokolwiek innego. Jest miło, jest fajnie, jest kilka osób. Nagle tuż obok playera pojawia się tekst : „Nie macie ochoty na pizzę? Zadzwońcie na 0801 xxx xxx”. I znów to nie może być przypadek! Pora na pizzę!...
Naturalnie, to nie był zwykły przypadek. W tle cały czas pracowała webkamerka wbudowana w notebooka, która na bieżąco zczytywała obraz Twojej twarzy i analizowała na niej punkty charakterystyczne. Na tej podstawie oceniła Twój nastrój. Ponadto system był w stanie wyłapać nastroje wszystkich osób, które były w zasięgu kamerki. Informacja z kamery trafia do aplikacji pośredniej, która tworzy bazy danych aktualizowane w czasie rzeczywistym. Masz dziś doła? A może bawisz się ze znajomymi? Adserwer już to wie :-)
Bariery "emotargetowania"
Technologia
Jest to najmniejszy problem ;-) Julia Jarkiewicz i Rafał Kocielnik stworzyli system do rozpoznawania emocji na podstawie zdjęć, który myli się tylko w 23% przypadków. Na dodatek istnieją już programy do śledzenia twarzy w wideo. Analiza obrazu wideo zużywa dużo pamięci procesora i generuje terabajty danych. Gdyby dane z kamerki miała być przetwarzana na zewnętrznym serwerze strasznie zapchałoby to łącze. Dlatego przetwarzanie danych musiałoby się odbywać na komputerze użytkownika. Dzięki temu do adserwera wysyłane byłyby tylko bajty danych. Na podobnej zasadzie działają przecież MMORPG takie jak GuildWars lub WarCraft, gdzie większość operacji odbywa się na twardym dysku gracza, a na linii użytkownik-serwer przesyłane są "współrzędne"
Polityka prywatności
Nasze uczucia to nasza prywatna sprawa. Wątpie, by ktokolwiek z nas cieszyłby, gdyby wiedza o naszym nastroju wpadła w ręce reklamodawców. Oprogramowanie do sczytywania emocji instalowane domyślnie mogłoby spowodować lawinę uzasadnionego oburzenia. Ale w takim razie jak zachęcić użytkownika, by z własnej woli sobie zainstalował taką aplikację? Na pewno ktoś się zgodzi za zwykłe „proszę” (pozdrawiam wszystkich uczestników badania Megapanel ;-P), ale w pozostałych przypadkach trzeba by było zaoferować coś w zamian. Dla pokolenia GG dobrym argumentem mogłaby być specjalna wtyczka zmieniająca status w zależności od nastroju ;-)
Koszty R&D
Koszty rozwoju takiego przedsięwzięcia byłyby wysokie i musiałyby zaangażować dostawców technologii z różnych dziedzin – nie tylko oprogramowanie rozpoznające emocję się liczy, ale również integracja z adserwerem oraz kompatybilność z hardware'em (w tym wypadku wbudowaną kamerką).
Wywiad z Julią Jarkiewicz i Rafałem Kocielnikiem – twórcami systemu do rozpoznawania emocji z twarzy
LR: Na czym dokładnie polegał Wasz projekt?
RK: Mieliśmy stworzyć, a w zasadzie sprawdzić możliwość stworzenia systemu zdolnego do automatycznego rozpoznania i analizy twarzy a następnie rozpoznania wyrażanej emocji. Na samym początku nie wiedzieliśmy nawet jak dokładnie się za to zabrać, choć mieliśmy kilka możliwych pomysłów. W zasadzie nie mieliśmy doświadczenia w specyficznej dziedzinie jaką jest analiza obrazu, a zdecydowaliśmy się zająć tym projektem głownie z ciekawości. W trakcie pracy wypróbowaliśmy część z nich, niektóre okazały się lepsze, niektóre gorsze. Wielka pomocą był dla nas już na samym początku profesor naszej uczelni Pan Krzysztof Marasek, który podsunął nam wiele ciekawych pomysłów i publikacji z tej dziedziny. Pozwoliło nam to krok po kroku, na podstawie wielu eksperymentów, dojść do wypracowania w miarę kompletnego rozwiązania jakie przedstawiliśmy na Kansei. Ważne było dla nas, aby dotrzeć do jak największej liczby już opracowanych i przetestowanych rozwiązań innych naukowców i walczyć z chęcią wymyślania wszystkiego zupełnie od nowa. Staraliśmy się w miarę możliwości bazować na pracach z dziedziny, ewentualnie je poprawiając, usprawniając i łącząc w nowy sposób. Przeważnie nie ma większego sensu by wyważać otwarte już drzwi. Projekt był dużym wyzwaniem, było kilka momentów w których traciliśmy wiarę w możliwość uzyskania pozytywnych efektów.
JJ: W zasadzie nasz projekt był podzielony na dwa osobne projekty w związku z faktem, że wykonywany był w ramach pracy magisterskiej. Pierwszy z nich to rozpoznanie twarzy na zdjęciach i automatyczne wykrycie punktów, natomiast drugi polegał na stworzeniu systemu rozpoznającego emocje na podstawie punktów, czy to zaznaczonych ręcznie, czy też automatycznie. Oczywiście nam chodziło o zautomatyzowanie procesu, więc rozpoznawanie emocji na podstawie punktów zaznaczonych ręcznie było raczej dostarczone do celów testowych, gdyż oba te projekty rozwijane były w tym samym czasie, a w rzeczywistości system taki działa sekwencyjnie.
LR: Jakiej technologii użyliście do stworzenia systemu?
RK: Użyliśmy tylko ogólnodostępnego języka programowania C++ i darmowej biblioteki do przetwarzania obrazu stworzonej kiedyś przez IBM, a obecnie rozwijanej jako projekt open-source’owy. Nie ma więc tu żadnej dedykowanej i specyficznej technologii, która wymagałaby specjalistycznego sprzętu. Program można uruchomić właściwie na każdym komputerze.
JJ: Jeśli chodzi o samą architekturę systemu, to bazował on na współpracy wielu technologii takich jak model antropometryczny twarzy – opisujący wzajemne zależności między elementami twarzy (oczy, usta, brwi, nos), hybrydowy model analizy elementów twarzy – analiza dokładnie dopasowana do każdego z elementów twarzy, wykorzystująca jego indywidualne własności, analityczne podejście do wyrazu twarzy – rozkładające go na pewną ilość punktów, sieci neuronowe o radialnych funkcjach aktywacji, klasyfikator KNN i naiwny Bayesowski – wykorzystane do nauki cech twarzy i samej już klasyfikacji emocji oraz wiele, wiele innych.
LR: Gdzie można zastosować system do rozpoznawania emocji z twarzy?
RK: Potencjalne zastosowania są przeogromne, a wielu z nich na pewno nawet nie przewidujemy – odkryje je rynek. Te które już możemy przewidzieć to m.in. wszelkiego rodzaju reklamy, dopasowujące sposób przekazu do stanu emocjonalnego odbiorcy oraz ich treść do rodzaju odbiorcy, różnorodne serwisy czy programy e-learningowe, dopasowujące styl i treść prezentacji do stanu emocjonalnego użytkownika, urządzenia towarzyszące jak robotyczne zwierzaki, które dzięki umiejętności określenia emocji mogą dostarczyć większego stopnia realizmu interakcji i autonomii.
JJ: Na pewno są to systemy monitorowania emocji w różnych dziedzinach życia, np. w samochodzie w celu określania potrzeby stosowania dodatkowych środków bezpieczeństwa lub wręcz nie pozwolenia kierowcy na uruchomienie samochodu, gdy jego stan emocjonalny może zwiększać ryzyko wypadku oraz wszelkiego rodzaju programy, które mogły by wykorzystać informacje o emocjach w celu umilenia czy wspomożenia użytkownika w pracy na komputerze, np. program dobierający muzykę do humoru słuchacza, czy też program ostrzegający przed wysłaniem nierozsądnego e-maila pod wpływem gniewu. Istnieje również pewien potencjał zastosowania aplikacji rozpoznającej emocje w rozwoju technologii komunikacyjnych dla ludzi z autyzmem, którzy nie są w stanie rozpoznawać emocji z taką samą łatwością jak ludzie zdrowi, co utrudnia im interakcje ze społeczeństwem. Oczywiście system, który my opracowaliśmy jest zaledwie małym wkładem w ogólnoświatowe badania nad tego typu zagadnieniami, które w przyszłości mogą całkowicie odmienić sposób, w jaki ludzie porozumiewają sie z komputerami.
LR: Jakie trendy przewidujecie? Czy "emotargetowanie" jest możliwe w najbliższym czasie?
JJ: Przede wszystkim to zależy od naszych oczekiwań w stosunku do systemu rozpoznawania emocji. Systemy rozpoznające emocje z twarzy nie są w stanie czytać nam w myślach, nie są w stanie powiedzieć co w danym momencie robimy, gdzie się znajdujemy ani co planujemy robić jutro. Wszystko co taki system robi to rozpoznaje emocje. Potencjał emotargetowania zależy więc od możliwości powiązania danej emocji z tym, czego osoba mogła by sobie życzyć. Kto będzie lepszym klientem pizzeri: osoby radosne czy smutne? Trzeba pamiętać o tym, że rozpoznawanie emocji jako takie nie przekazuje informacji o tym, że właśnie bawimy się ze znajomymi czy też że jesteśmy głodni.
RK: Pomimo, iż dla kogoś nie zajmującego się bezpośrednio analizą obrazu twarzy, bądź emocji, system może wyglądać na wymagający niewielu przeróbek i w miarę kompletny, jest w nim wiele jeszcze nierozwiązanych problemów. Jednymi z najważniejszych są chyba problemy z oświetleniem. Słabe oświetlenie bądź cienie występujące na twarzy nadal potrafią skutecznie zmylić komputerowy system. Niemałym problemem są też różnego rodzaju obroty i kąty nachylenia twarzy. Dodatkowymi utrudnieniami potrafią być broda, wąsy, bądź okulary. Te problemy nadal spędzają sen z powiek wielu projektantom tego typu systemów i póki co nie ma dla nich w stu procentach skutecznego rozwiązania. Oczywiście wyraźny postęp jest widoczny i systemy te są dużo bardziej zaawansowana niż jeszcze kilka lat temu. Już dziś, dzięki szybkości działania współczesnych komputerów, jak najbardziej możliwe jest rozpoznawanie emocji bezpośrednio z kamery realizowane w czasie rzeczywistym. Sami chcielibyśmy rozwijać nasz system właśnie w tym kierunku, problemem jest jednak, jak to w Polsce zwykle bywa, brak finansowania. Na świecie są jednak prowadzone intensywne badania w tym kierunku, co zapewne zaowocuje w najbliższym czasie 2 do 5 lat systemami, które będą mogły być zastosowane komercyjnie w wielu dziedzinach życia.
LR: Dziękuję za wywiad.
A co Wy o tym sądzicie?
Czekam na Wasze komentarze, linki i pomysły, jeśli też macie zajawki rodem z "1984" Orwella lub widzicie potencjał w systemach automatycznie rozpoznających emocje :-)
Pobierz ebook "Ranking agencji marketingowych 2024 i ebook o e-marketingu oraz agencjach reklamowych"
Zaloguj się, a jeśli nie masz jeszcze konta w Interaktywnie.com - możesz się zarejestrować albo zalogować przez Facebooka.
Projektujemy i wdrażamy strony internetowe - m.in. sklepy, landing page, firmowe. Świadczymy usługi związane …
Zobacz profil w katalogu firm
»
1stplace.pl to profesjonalna agencja SEO/SEM, specjalizująca się w szeroko pojętym marketingu internetowym. Firma oferuje …
Zobacz profil w katalogu firm
»
Pozycjonujemy się jako alternatywa dla agencji sieciowych, oferując konkurencyjną jakość, niższe koszty i większą …
Zobacz profil w katalogu firm
»
Pomagamy markom odnosić sukces w Internecie. Specjalizujemy się w pozycjonowaniu stron, performance marketingu, social …
Zobacz profil w katalogu firm
»
W 1999 roku stworzyliśmy jedną z pierwszych firm hostingowych w Polsce. Od tego czasu …
Zobacz profil w katalogu firm
»
Malo kto da sie przekonac do swiadomego podgladania na codzien.
Ok, wszystko fajnie, tylko co jeśli ktoś ma kamerę wyłączoną? ;-) Natomiast jeśli chodzi o śledzenie emocji w sieci to polecam<a class="non-html" href="http://www.ted.com/talks/jonathan_harris_tells_the_web_s_secret_stories.html"> http://www.ted.com/talks/jonathan_harris_tells_the_web_s_secret_stories.html</a> zdecydowanie ciekawszy pomysł imo a też o emocjach.
Super pomysł, gratuluję. Pomyślałem, że to oprogramowanie możnaby również zastosować do zbierania danych jak użytkownik reaguje na daną reklamę. Taki feedback mógłby sie przyczynić do znacznej poprawy tego, co widz lubi.<br /> <br /> p.s.Nazwa EMOtargetowanie nie wydaje się być szczęśliwie dobrana.
gra Emo Target wymiata :-)
Google ma zasoby, żeby wprowadzić taką technologię w życie (i być może ją spieniężyć). Ciekawe kiedy pojawi się w Labsach :) i czy w naszych telefonach będziemy mieć oprogramowanie dzwoniące samoczynnie na numer wsparcia dla samobójców na widok naszych twarzy...