Automatyczne systemy zarządzania kampaniami nie zwalniają z myślenia

Niedawno na spotkaniu z jedną z sieci reklamowych przekonywano mnie, że z wszystkich oferowanych opcji najlepiej sprawdza się reklama display z wykorzystaniem opracowanej przez firmę unikalnej technologii optymalizacji wyświetlania reklam celem osiągnięcia jak największej liczby konwersji. System sam dobierze najbardziej odpowiednie miejsca docelowe, odbiorców oraz kreacje. Wystarczy już 5 konwersji, aby system zaczął optymalizować reklamy! Jak to możliwe? „Mamy taką wspaniałą technologię”. Ale jak to działa? „Nie możemy powiedzieć”. Testowa kampania okazała się porażką - pisze specjalnie dla Interaktywnie.com Witold Wrodarczyk z Adequate Interactive Boutique.

„Zmieniając tekst przycisku z KUP TERAZ na KUP DZIŚ zwiększyliśmy współczynnik konwersji o 65%” – tego rodzaju case studies to chleb powszedni blogów i prezentacji specjalistów od optymalizacji konwersji.

Czy to możliwe? Z pewnością mogło się tak zdarzyć. Raczej nie należy podejrzewać autorów o fabrykowanie wyników. Pytanie tylko, czy istotność statystyczna uzyskana „na papierze” rzeczywiście wskazuje na istnienie prawidłowości.

Znaczenie testów A/B

Testy A/B są najlepszą i jedyną metodą weryfikacji hipotez dotyczących skuteczności marketingu. Prowadząc dwie różne kampanie równolegle w tych samych warunkach i do statystycznie takich samych odbiorców możemy faktycznie porównać skuteczność alternatywnych rozwiązań.

Kiedyś przeprowadziliśmy test A/B dwóch wariantów kampanii w wyszukiwarce. Test trwał około dwóch tygodni. Kampania dotyczyła słów kluczowych w branży finansowej, a konwersjami były zapytania użytkowników o poszczególne produkty. Oto jaki był wynik tego eksperymentu:

Test wykazał, że kampania B (eksperyment) działa o ponad połowę lepiej, a poziom ufności wyniku wyniósł 99,9% (prawdopodobieństwo 999/1000, że uzyskany wynik nie jest przypadkowy).

W tym momencie pojawią się pytanie: co spowodowało, że kampania B działała lepiej? Jaka modyfikacja dała tak istotny wzrost konwersji? Odpowiedź może zaskoczyć: żadna. Wersja eksperymentalna nie różniła się niczym od wersji kontrolnej. Różnica między skutecznością w teście A/B była wyłącznie dziełem przypadku.

Chaos i prawidłowości

Liczba  niezależnych zmiennych losowych, które wpływają na skuteczność kampanii, a także zewnętrznych, przewidywalnych czynników (których automat najprawdopodobniej nie będzie w stanie zidentyfikować) takich jak sezon, zmiana sytuacji rynkowej, anomalia – jest ogromna. W procesie konwersji występuje bardzo duży szum (chaotyczne fluktuacje), który silnie zakłóca sygnał wynikający z poszukiwanej przez nas prawidłowości statystycznej.

 

Odróżnienie czynników losowych od zmiennych, które mają faktyczny wpływ na wynik (jak na przykład moneta z dwoma orłami) jest kluczowe dla efektywnego zarządzania kampanią.

Aby skutecznie optymalizować kampanie na podstawie ich statystyk, konieczne jest odfiltrowanie sygnału (prawidłowości statystycznej) od szumu (fluktuacji). Bardzo często jednak mamy problemy z ich odróżnieniem. Szum bywa bardzo wysoki, co sprawia, że obserwujemy głównie chaotyczne zmiany. Poszukiwanie prawidłowości w chaosie to szaleństwo, a z całą pewnością – strata czasu.

Automatyczne optymalizatory raz jeszcze

„Nasz optymalizator konwersji osiem razy dziennie analizuje skuteczność i modyfikuje stawki każdego słowa kluczowego. Porównywana jest jego skuteczność na poszczególnych urządzeniach, obszarach geograficznych, porach dnia…” Zaraz… Nawet w największych kampaniach jedynie kilka słów kluczowych ma więcej niż 20-50 konwersji dziennie (czyli na poziomie 1-2 konwersji na godzinę). Czas od kliknięcia do konwersji wynosi przeciętnie 5 dni. Czy rzeczywiście jest sens tak częstych iteracji optymalizacyjnych i czy w tych okresach jesteśmy w stanie zebrać dane o odpowiedniej istotności statystycznej?

Co się dzieje, jeśli automatycznie zarządzana kampania napotka niespodziewane wydarzenie? Awarię strony, usunięcie kodu, dzień wyprzedaży (u nas lub u konkurencji)? Czy system optymalizatora umożliwia wprowadzenie informacji, która pozwoli zignorować tę anomalię? A co ze zmianą trendu? Czy doskonale sprzedające się w kwietniu wycieczki narciarskie trzeba będzie równie intensywnie promować w maju? Czy w przetwarzanych Big Data dane te są uwzględnione? Długi weekend majowy w tym roku trwał wyjątkowo długo? Co z ruchomymi świętami?

Czy automatyczne systemy optymalizujące mają sens? Mają, ale trzeba pamiętać, że ich konfiguracja wymaga dogłębnej wiedzy i również sporego nakładu pracy na skonfigurowanie i bieżące zarządzanie. Bardzo przydatne jest rozumienie mechanizmów optymalizacji, czym niestety dostawcy optymalizatorów dzielą się niechętnie. 

KPI, statystyka i cele kampanii

Bardzo często sięgamy po atrakcyjnie brzmiące i wiele obiecujące nowinki, podczas gdy zapominamy o podstawach. Niemalże wszystkie audytowane przeze nas kampanie sprzedażowe dużych firm działały w oparciu o cel w postaci określonego kosztu konwersji, koncentrując się na słowach kluczowych własnej marki oraz retargetingu, pompując w nich stawki do granic absurdu, jednocześnie zaniedbując „gorzej konwertujące” słowa generyczne i inne formy reklamy.

To trochę tak, jakby wszyscy przedstawiciele handlowi stali wyłącznie przy drzwiach sklepu i rozmawiali tylko z osobami do niego wchodzącymi lub wychodzącymi bez zakupów.

Brak segmentacji działań, podziału na słowa kluczowe brand i non-brand, remarketing i ogólny display prowadzi do wypaczeń raportów, które stają się zupełnie bezużyteczne. Takie dane są dobrą ilustracją opinii, że statystyka to największe kłamstwo. Średnia wieku kobiet w mojej rodzinie to 15 lat: żona 29 i córka 1. W porównaniu z zeszłym rokiem to spadek o 46%!

Bardzo często klienci pytający się o systemy zarządzania stawkami, wykorzystanie Big Data - nie segmentują swojego ruchu.
                                           
Jakie są cele kampanii i działań optymalizacyjnych?

1. Minimalizacja kosztu konwersji.
2. Maksymalizacja sprzedaży.
3. Zwiększanie ROI.
   
   Jednocześnie

Sporo czasu zajmuje wyjaśnienie, że cele te są sprzeczne, a punkt w którym zysk jest najwyższy, jest kompromisem między sprzedażą i wskaźnikami rentowności. Chcąc zwiększyć sprzedaż, musimy pozyskiwać coraz droższe kliknięcia, coraz bardziej rozpychać się na rynku, co powoduje, że koszt konwersji rośnie, a ROI spada. Tak długo, jak dodatkowa sprzedaż zrekompensuje nam wyższy koszt konwersji, ekspansja będzie opłacalna.

W którym momencie na pozyskaniu kolejnego klienta zaczynamy już tracić? Gdzie znajduje się granica między niedoinwestowaniem a przeinwestowaniem w reklamę? Tego rodzaju podstawowe pytania zadaje sobie niewielu marketerów.

Atrybucja

Temat, który coraz częściej pojawia się na konferencjach branżowych to atrybucja.  Przypomnijmy, o co chodzi: Rozpatrywanie wyłącznie ostatniego kliknięcia nie daje pełnego obrazu skuteczności reklam i ich udziału w konwersji. Interakcji z reklamą na ścieżce konwersji jest coraz więcej i coraz częściej mają one miejsce na kilku urządzeniach. Na ile za konwersje odpowiada ostatnie kliknięcie? A może to pierwsza interakcja była najważniejsza?

W Google Analytics możemy już obserwować całą ścieżkę konwersji. Wygląda to na przykład tak:



Możemy też tworzyć modele atrybucji i liczyć, ile warte są poszczególne źródła ruchu…



Wyobraźmy sobie ścieżkę konwersji użytkownika, który dokonał zakupu tabletu: Faktycznie wszystko zaczęło się od reklamy iPada, która przekonała go, by zastanowić się nad zakupem tabletu. Zainspirowany, wyszukał „tablety” w Google i tam trafił na stronę Samsunga. Następnie wyszukał w Google opinie o tabletach Samsung. W tym czasie oglądał reklamy retargetingowe iPada. Kliknął je, a następnie wyszukał w Google opinie o iPadzie. Następnie na Facebooku zapytał się znajomych „Samsung czy iPad”. No i się zaczęło…  Dwa dni później obejrzał reklamę retargetingową Samsunga, kliknął w nią. Niebawem też zobaczył film retargetingowy Samsunga. Wszedł do porównywarki cen, wyszukał najtańszy sklep. Następnego dnia obejrzał jeszcze reklamę iPada. Wszedł do sklepu online, który wcześniej znalazł w porównywarce. Po krótkim czacie z konsultantem kupił tablet. Przyjmijmy, że był to Samsung.

Jaki model atrybucji zastosować? Ostatnie kliknięcie? Pierwsze? Liniowy? Jakby nie patrzeć, na każdej ze ścieżek pojawia się reklama iPada. Czy zatem możemy jej przypisywać udział w konwersji? Czy, idąc dalej, Samsung powinien dotować reklamy Apple’a, by sprzedawać więcej tabletów? To oczywiście nonsens. Najprawdopodobniej reklamy konkurencji zmniejszyły szansę konwersji, choć niewykluczone, że łącznie reklamy wszystkich producentów napędzają rynek tabletów, z czego cała branża odnosi korzyści. 

Nawet jeśli ograniczymy analizę do reklam Samsunga, tak naprawdę nie wiemy, która z nich faktycznie miała decydujące znaczenie i na ile usunięcie którejś z interakcji spowodowałoby inną decyzję klienta. Czy reklama retargetingowa YouTube ostatecznie przeważyła, czy nawet bez obejrzenia tego filmu nasz użytkownik dokonałby transakcji? Które z reklam są tak naprawdę zbędne?  A może są takie reklamy, które wręcz negatywnie wpływają na prawdopodobieństwo konwersji?

Przypadek a związek przyczynowo-skutkowy

Film „Miś” to skarbnica cytatów. Przytoczę dwa: „Szmatę mi ukraść chciał. To pijak. I złodziej. Bo każdy pijak to złodziej!” oraz „Węgiel jest we wiosce. Wojna idzie. Przed wojną też był.”.

Mylenie koincydencji ze związkiem przyczynowo skutkowym jest klasycznym błędem popełnianym również przez analityków. Duży problem mają z nim również systemy automatycznej optymalizacji.

Jeżeli obserwujemy, że zjawiska X i Y występują jednocześnie, możliwe są następujące opcje:

• Y wynika z X lub
• X wynika z Y lub
• istnieje trzeci czynnik Z, z którego wynikają X i Y, mimo że X i Y wzajemnie na siebie nie wpływają

Kiedyś badacze statystyk udowodnili, że bociany przynoszą dzieci. Może nie udało się im przekonać do tego większości, ale w każdym razie wykazali, że jest bezpośredni związek między zagęszczeniem populacji bocianów a przyrostem naturalnym. Dlaczego? Bo na wsi jest większy przyrost naturalny, jest tam też więcej bocianów.

Z faktu, że jadąc do pracy codziennie mijam drzewa, nie wynika, że mają one wpływ na to, jak szybko docieram do biura. Aby to sprawdzić, należałoby te drzewa ściąć i porównać czasy dojazdu, a dokładniej, przeprowadzić szereg prób – w sposób losowy - z drzewami i bez, a następnie porównać prędkość dojazdu i sprawdzić, czy istnieje statystycznie istotna różnica w czasie przejazdu.

Jak mierzyć atrybucję?

Do uzyskania statystycznie potwierdzonych danych odnośnie atrybucji określonego kanału, trzeba porównać sporą liczbę ścieżek konwersji różniących się między sobą właśnie brakiem danej interakcji. W przypadku reklam dochodzi jeszcze wpływ wyświetleń bez kliknięcia w reklamę…

Obecnie takie narzędzia dopiero się tworzą. Na razie możemy w sposób jednoznaczny przetestować atrybucję retargetingu, gdyż tu mamy wszystkie cookie użytkowników pod kontrolą. Przeprowadziliśmy taki test.

 

Okazało się, że atrybucja retargetingu jest prawie 10 razy większa, niż wynika to z konwersji po ostatnim kliknięciu reklamy retargetingowej. Mieliśmy od tego czasu okazję przeprowadzić kolejne testy tego rodzaju, i wyniki były różne. W jednym przypadku okazało się, że reklama retargetingowa w ogóle nie wpływa na konwersje, czyli osoby, które poddawaliśmy retargetingowi dokonałyby konwersji również bez niego. 

Wierzchołek góry lodowej

Mierzalność efektów, która zawsze była największym atutem marketingu w internecie, staje się powoli również jego przekleństwem. Wykupując reklamę prasową, reklamodawcy musieli polegać na danych o cyrkulacji pisma. Wydawcy licytowali się nakładami oraz niemożliwą do zweryfikowania liczbą osób, które czytają jeden egzemplarz. Dziś reklamodawcy oczekują twardych dowodów w postaci konwersji po kliknięciu w reklamę. A czy ktoś klika w billboardy? Czy ktoś klika w reklamę telewizyjną lub prasową? Nie. A jednak nikt nie ma wątpliwości że te reklamy działają.

To, co widzimy w systemach raportujących, to jedynie wierzchołek góry lodowej wartości konwersji. To, czego nie widzimy, to konwersje na innych urządzeniach, wspomniane już wcześniej konwersje wspomagane, konwersje offline (w sklepach stacjonarnych, telefoniczne), wartość konwersji powracających użytkowników oraz udzielanych przez nich poleceń, wartość efektu wizerunkowego (wzrost świadomości marki) oraz wyparcie z rynku konkurencji.



Nowe technologie i narzędzia analityczne w marketingu internetowym otwierają przed nami ogromne możliwości. W wielu przypadkach jesteśmy dopiero na początku drogi. Warto pamiętać, że proces konwersji jest bardziej złożony, niż się nam wydaje. 

Zaawansowane technologie wymagają również zaawansowanej wiedzy i głębokiego rozumienia procesów, z którymi mamy do czynienia – inaczej będą one bezużyteczne. I zanim sięgniemy po wyszukane techniki analizy i narzędzia, warto upewnić się, że rozumiemy i dobrze analizujemy dane zupełnie podstawowe.

Pamiętajmy też, zdrowego rozsądku i profesjonalnej analizy nie zastąpią automatyczne systemy zarządzania, które same za nas wymyślą, jak kampanię prowadzić. Marketing online to nie zupa. Nie wystarczy wrzucić składniki, zamieszać i postawić na gazie. Samo się nie ugotuje.

Witold Wrodarczyk, dyrektor operacyjny i założyciel Adequate Interactive Boutique. Specjalista SEM od 2005 roku, certyfikowany specjalista Google AdWords, Google Analytics, Double Click Search oraz Bing Ads, z doświadczeniem w dziedzinie finansów firm i rynku kapitałowego (Doradca inwestycyjny, lic. nr 169). Absolwent Politechniki Warszawskiej.