Testy A/B – co zrobić, aby były skuteczne?

Testy A/B są często stosowaną techniką badawczą, która w prosty i szybki sposób dostarcza wyniki badań. Jej pozorna prostota może jednak prowadzić do mylnych wniosków, które przeniesione na końcowy projekt, okażą się zupełnie nieskuteczne.

Testy A/B są często stosowaną techniką badawczą, która w prosty i szybki sposób dostarcza wyniki badań. Jej pozorna prostota może jednak prowadzić do mylnych wniosków, które przeniesione na końcowy projekt, okażą się zupełnie nieskuteczne. Postaram się podpowiedzieć, jak przeprowadzić testy A/B, aby dojść do ważnych dla naszej strony wniosków i wdrożyć zmiany, które w istotny sposób wpłyną na zmianę zachowania użytkowników.

Chcąc krótko zdefiniować klasyczny test A/B, należałoby powiedzieć, że jest to metoda badawcza, w której testowi poddano tylko jedną zmienną. Przez zmienną rozumiemy tu element strony, który może zostać poddany zmianie. Oznacza to, że dana zmienna występuje w kilku wariantach (odmianach) np. są to różne kolory tego samego przycisku.

Warto zwrócić uwagę, że korzystając z programu Google Optimizer spotkamy się z sytuacją, gdy w teście A/B całą stronę traktuje się jako zmienną, zatem badane są różne warianty stron.*

Oczywiście, jeśli chcielibyśmy w tym narzędziu wykonać klasyczny test A/B, to jest to możliwe, tylko musielibyśmy skorzystać z testu wielowymiarowego, w którym wybralibyśmy tylko jedną zmienną.

Test A/B – „to takie proste”

Najczęstszym błędem osób zaczynających swoją przygodę z testami A/B jest zbyt bezpośrednie podejście do całego zagadnienia. Prześledźmy zatem typową sytuację tego rodzaju.

1. Dowiadujemy się o testowaniu A/B

2. Przeglądamy stronę, na której zaprezentowano wyniki innych testów np.:

http://www.abtests.com/

3. Analizujemy przykład konkurencji i dochodzimy do wniosku, że jeśli u innych tak prosta zmiana zwiększyła w tak znaczący sposób współczynnik konwersji, to u nas też to musi zadziałać - BŁĄD.

4. Wprowadzamy zmianę na naszej stronie - BŁĄD.

5. Obserwujemy, że wyniki osiągane przez nasz serwis są takie same jak przed zmianą lub nawet gorsze.

6. Dochodzimy do wniosku, że cała sprawa związana z testowaniem jest mocno przesadzona i przereklamowana -  BŁĄD.

Jeden krok do tyłu i dwa do przodu

Choć w powyższym przykładzie początek był bardzo obiecujący, finalny efekt delikatnie rzecz ujmując rozczarował. W celu uniknięcia takiej sytuacji podpowiem, co należy zrobić.

Zanim przystąpimy do testów A/B i zaczniemy porównywać różne wersje naszej zmiennej,  powinniśmy odpowiedzieć sobie na dwa proste pytania, a gdy to uczynimy, będziemy mogli uznać, że pierwszy krok w kierunku testu A/B mamy za sobą.

1. Znalezienie odpowiedzi na dwa pytania

a) Jaki problem chcę zbadać?

Np.:

„Landing page kampanii cechuje się wysokim współczynnikiem odrzuceń”.

„Duży procent użytkowników opuszcza proces zakupowy na trzecim kroku” .

Dzięki takiemu podejściu, zostaje jasno określony problem z jakim musimy się zmierzyć oraz dużo łatwiej będzie można wskazać kryteria sukcesu np. obniżenie współczynnika odrzuceń.

b) Dlaczego mamy taki problem?

Na tym etapie stawiamy hipotezę – przypuszczenie, dlaczego w naszym serwisie pojawił się taki problem – co jest jego przyczyną? W przypadku, kiedy nasi użytkownicy opuszczają landing page kampanii może to być np. zły sposób komunikacji korzyści, tekst na przycisku nie zachęca do akcji lub użyto mało ciekawej grafiki.

Kolejnym etapem powinno być swoiste połączenie kroków z przykładu zaprezentowanego wyżej (kroki: Dowiadujemy się o testowaniu A/B + Przeglądamy stronę, na której zaprezentowano wyniki innych testów).

2. Poszukiwanie informacji o testach A/B

Uczymy się, co to są testy, jak je przeprowadzać, jak działa Google Optimizer, zbieramy ogólną wiedzę i analizujemy przykłady innych badań.

Teraz, kiedy już mamy wiedzę związaną z przygotowaniem testu oraz udało się wskazać problem i postawić hipotezę, dlaczego mamy do  czynienia z taką sytuacją, możemy przystąpić do kolejnego etapu.

3. Dokładna analiza strony

Sprawdzamy, jakie elementy projektu mogą wpływać np. na zmniejszenie konwersji. Może się bowiem okazać, że to, co zadziałało wcześniej, w przypadku innych stron serwisu, teraz całkowicie się nie sprawdza, ponieważ nowa strona skierowana jest do innej grupy docelowej.

W tym momencie nie pozostaje nam już nic innego jak przygotowanie naprawdę różnych wersji danej zmiennej, np. odmiennych wersji nagłówka w celu sprawdzenia nowych rozwiązań. Pora na przejście do następnego etapu, czyli uruchomienia testu.

4. Przygotowanie i start testu

Teraz przydadzą się podstawowe umiejętności informatyczne, ponieważ musimy wprowadzić skrypty śledzące w odpowiednich częściach kodu html testowanej strony. Jeśli wszystko zostało prawidłowo zainstalowane, to możemy uruchomić test i czekać na zebranie odpowiedniej liczby danych.

Nasz test się kończy, więc przychodzi pora na ostatni etap, który jednocześnie jest też pierwszym.

5. Analiza wyników i wdrożenie zmian

To, co zrobimy teraz będzie zależało od wyników testu. Jeśli zaproponowana przez nas zmiana została dobrze przyjęta przez użytkowników, wprowadzamy ją i przechodzimy do kolejnych testów.

Może się jednak okazać, że nasze nowe propozycje nie uzyskały lepszych rezultatów od wyjściowej wersji zmiennej. Uwaga! To również są istotne dane. Dzięki nim wiemy, co nie zadziałało i że to inny element lub elementy są sednem naszego problemu. W takiej sytuacji wracamy „na chwilę” do punktu 4. i testujemy kolejny kluczowy dla strony element.

Na sam koniec…

Na podstawie tego krótkiego przykładu chciałem pokazać, że po pierwsze nie warto biernie kopiować rozwiązań, które stosują inni, ponieważ serwisy różnią się od siebie i często można osiągnąć całkiem odwrotny od zamierzonego efekt. Należy pamiętać, że firmy mogą mieć podobne cele biznesowe, ale całkiem odmienne strategie do ich osiągnięcia.

Po drugie, obojętnie jaką technikę badawczą stosujesz, kluczowe dla sukcesu są informacje, co chcesz zbadać oraz na jakie konkretne pytania, problemy poszukujesz odpowiedzi.

*Chętnych zapraszam do zapoznania się z filmem instruktażowym przygotowanym przez firmę Google. Dotyczy on zakładania testów A/B w programie Google Optimizer.

http://www.youtube.com/watch?v=1yTjj9MnzRY

Pobierz ebook "Social media marketing dla firm i agencje się w nim specjalizujące"