6.03.2012 / Usability

Testy A/B – co zrobić, aby były skuteczne?

  • Facebook Polub
  • LinkedIn Opublikuj
  • Twitter Udostępnij
Krystian Mrozek
Dodał: Krystian Mrozek
 

Testy A/B są często stosowaną techniką badawczą, która w prosty i szybki sposób dostarcza wyniki badań. Jej pozorna prostota może jednak prowadzić do mylnych wniosków, które przeniesione na końcowy projekt, okażą się zupełnie nieskuteczne. Postaram się podpowiedzieć, jak przeprowadzić testy A/B, aby dojść do ważnych dla naszej strony wniosków i wdrożyć zmiany, które w istotny sposób wpłyną na zmianę zachowania użytkowników.

Chcąc krótko zdefiniować klasyczny test A/B, należałoby powiedzieć, że jest to metoda badawcza, w której testowi poddano tylko jedną zmienną. Przez zmienną rozumiemy tu element strony, który może zostać poddany zmianie. Oznacza to, że dana zmienna występuje w kilku wariantach (odmianach) np. są to różne kolory tego samego przycisku.

Warto zwrócić uwagę, że korzystając z programu Google Optimizer spotkamy się z sytuacją, gdy w teście A/B całą stronę traktuje się jako zmienną, zatem badane są różne warianty stron.*

Oczywiście, jeśli chcielibyśmy w tym narzędziu wykonać klasyczny test A/B, to jest to możliwe, tylko musielibyśmy skorzystać z testu wielowymiarowego, w którym wybralibyśmy tylko jedną zmienną.

Test A/B – „to takie proste”

Najczęstszym błędem osób zaczynających swoją przygodę z testami A/B jest zbyt bezpośrednie podejście do całego zagadnienia. Prześledźmy zatem typową sytuację tego rodzaju.

1. Dowiadujemy się o testowaniu A/B

2. Przeglądamy stronę, na której zaprezentowano wyniki innych testów np.:

http://www.abtests.com/

3. Analizujemy przykład konkurencji i dochodzimy do wniosku, że jeśli u innych tak prosta zmiana zwiększyła w tak znaczący sposób współczynnik konwersji, to u nas też to musi zadziałać - BŁĄD.

4. Wprowadzamy zmianę na naszej stronie - BŁĄD.

5. Obserwujemy, że wyniki osiągane przez nasz serwis są takie same jak przed zmianą lub nawet gorsze.

6. Dochodzimy do wniosku, że cała sprawa związana z testowaniem jest mocno przesadzona i przereklamowana -  BŁĄD.

Jeden krok do tyłu i dwa do przodu

Choć w powyższym przykładzie początek był bardzo obiecujący, finalny efekt delikatnie rzecz ujmując rozczarował. W celu uniknięcia takiej sytuacji podpowiem, co należy zrobić.

Zanim przystąpimy do testów A/B i zaczniemy porównywać różne wersje naszej zmiennej,  powinniśmy odpowiedzieć sobie na dwa proste pytania, a gdy to uczynimy, będziemy mogli uznać, że pierwszy krok w kierunku testu A/B mamy za sobą.

1. Znalezienie odpowiedzi na dwa pytania

a) Jaki problem chcę zbadać?

Np.:

„Landing page kampanii cechuje się wysokim współczynnikiem odrzuceń”.

„Duży procent użytkowników opuszcza proces zakupowy na trzecim kroku” .

Dzięki takiemu podejściu, zostaje jasno określony problem z jakim musimy się zmierzyć oraz dużo łatwiej będzie można wskazać kryteria sukcesu np. obniżenie współczynnika odrzuceń.

b) Dlaczego mamy taki problem?

Na tym etapie stawiamy hipotezę – przypuszczenie, dlaczego w naszym serwisie pojawił się taki problem – co jest jego przyczyną? W przypadku, kiedy nasi użytkownicy opuszczają landing page kampanii może to być np. zły sposób komunikacji korzyści, tekst na przycisku nie zachęca do akcji lub użyto mało ciekawej grafiki.

Kolejnym etapem powinno być swoiste połączenie kroków z przykładu zaprezentowanego wyżej (kroki: Dowiadujemy się o testowaniu A/B + Przeglądamy stronę, na której zaprezentowano wyniki innych testów).

2. Poszukiwanie informacji o testach A/B

Uczymy się, co to są testy, jak je przeprowadzać, jak działa Google Optimizer, zbieramy ogólną wiedzę i analizujemy przykłady innych badań.

Teraz, kiedy już mamy wiedzę związaną z przygotowaniem testu oraz udało się wskazać problem i postawić hipotezę, dlaczego mamy do  czynienia z taką sytuacją, możemy przystąpić do kolejnego etapu.

3. Dokładna analiza strony

Sprawdzamy, jakie elementy projektu mogą wpływać np. na zmniejszenie konwersji. Może się bowiem okazać, że to, co zadziałało wcześniej, w przypadku innych stron serwisu, teraz całkowicie się nie sprawdza, ponieważ nowa strona skierowana jest do innej grupy docelowej.

W tym momencie nie pozostaje nam już nic innego jak przygotowanie naprawdę różnych wersji danej zmiennej, np. odmiennych wersji nagłówka w celu sprawdzenia nowych rozwiązań. Pora na przejście do następnego etapu, czyli uruchomienia testu.

4. Przygotowanie i start testu

Teraz przydadzą się podstawowe umiejętności informatyczne, ponieważ musimy wprowadzić skrypty śledzące w odpowiednich częściach kodu html testowanej strony. Jeśli wszystko zostało prawidłowo zainstalowane, to możemy uruchomić test i czekać na zebranie odpowiedniej liczby danych.

Nasz test się kończy, więc przychodzi pora na ostatni etap, który jednocześnie jest też pierwszym.

5. Analiza wyników i wdrożenie zmian

To, co zrobimy teraz będzie zależało od wyników testu. Jeśli zaproponowana przez nas zmiana została dobrze przyjęta przez użytkowników, wprowadzamy ją i przechodzimy do kolejnych testów.

Może się jednak okazać, że nasze nowe propozycje nie uzyskały lepszych rezultatów od wyjściowej wersji zmiennej. Uwaga! To również są istotne dane. Dzięki nim wiemy, co nie zadziałało i że to inny element lub elementy są sednem naszego problemu. W takiej sytuacji wracamy „na chwilę” do punktu 4. i testujemy kolejny kluczowy dla strony element.

Na sam koniec…

Na podstawie tego krótkiego przykładu chciałem pokazać, że po pierwsze nie warto biernie kopiować rozwiązań, które stosują inni, ponieważ serwisy różnią się od siebie i często można osiągnąć całkiem odwrotny od zamierzonego efekt. Należy pamiętać, że firmy mogą mieć podobne cele biznesowe, ale całkiem odmienne strategie do ich osiągnięcia.

Po drugie, obojętnie jaką technikę badawczą stosujesz, kluczowe dla sukcesu są informacje, co chcesz zbadać oraz na jakie konkretne pytania, problemy poszukujesz odpowiedzi.

*Chętnych zapraszam do zapoznania się z filmem instruktażowym przygotowanym przez firmę Google. Dotyczy on zakładania testów A/B w programie Google Optimizer.

http://www.youtube.com/watch?v=1yTjj9MnzRY

  • Facebook Polub
  • LinkedIn Opublikuj
  • Twitter Udostępnij
Komentarze (3)
 1 / 1 
Marcin Śpiewak
1. Marcin Śpiewak 07.03.2012 / 13:16
Ale po co testy A/B skoro można robić nieograniczone testy wieloczynnikowe? Takie testy można robić niemalże "na ślepo" - bez stawiana hipotez. Warunkiem jest tylko zapewnienie odpowiedniego ruchu na stronie, bez tego nie ma badań ilościowych. To dość istotna informacja, której brakuje w tekście.

Czasem zamiana gradientu na czysty kolor pod menu podnosi konwersję o wiele punktów procentowych. Takich rzeczy nie można wyłapać w analizie tylko trzeba testować, testować... i jeszcze raz testować. Dlatego powinno się projektować warianty od samego początku.
Olgierd Mrozik
2. Olgierd Mrozik 07.03.2012 / 16:50
Marcinie,

Pozwolę sobie polemizować z Twoim komentarzem. Artykuł mówi o testach A/B w ogólności. Zatem również w kontekście serwisów, które nie muszą posiadać dużego ruchu. Pomijam rozważania na temat co to jest „duży ruch”. W mojej opinii testy A/B są przydatne nawet w przypadku serwisów firmowych generujących stosunkowo niewielki ruch. Oczywiście o ile serwis ma konkretnie określone cele, wiemy co chcemy osiągnąć i ile opłaca się nam wydać na jednego pozyskanego lead’a (co w dalszym ciągu nie zawsze interesuje właścicieli serwisu). Jeśli mówisz o porównywarkach, serwisach aukcyjnych czy portalach, to zgoda, pewnie ciężko robić skuteczną optymalizację całego serwisu przeprowadzając jedynie mozolne testy A/B z całą procedurą „myślową” opisaną powyżej.

Nie zgadzam się, jednak, że testy wieloskładnikowe można robić "niemalże na ślepo". W dużych serwisach jest całe mnóstwo elementów, które należałoby wykonać w wielu wariantach. Zatem przetestowanie ich na ślepo zajęłoby dużo czasu i wygenerowałoby ogrom danych do analizy. Nie wykluczam, że może się to sprawdzać w niektórych przypadkach pod warunkiem ostatecznego ROI na plus :). Jeśli jednak mamy uogólniać, to moim zdaniem dopiero doświadczenie i nos UX-Majstera jest w stanie zagwarantować dobre przeprowadzenie takich testów, wskazać najpierw elementy o najwyższym ryzyku obniżania konwersji, nawet bez świadomego stawiania hipotez, o których pisze autor artykułu.
Krystian Mrozek
3. Krystian Mrozek 08.03.2012 / 14:52
Olgierdzie,

całkowicie się z Tobą zgadzam.

Tworząc testy wielowymiarowe należy pamiętać, że na czas ich trwania wpływ mają następujące czynniki:

- liczba testowanych kombinacji (więcej kombinacji = dłuższy czas trwania testu),
- współczynnik konwersji (wyższa wartość współczynnika = krótszy czas trwania testu),
- dzienna liczba odwiedzin (więcej odwiedzin = krótszy czas trwania testu),
- szacowany wzrost współczynnika (większy szacowany wzrost = krótszy czas trwania testu),

Przedstawię prosty przykład:
- chcemy przebadać 20 kombinacji (wybieramy tylko te najważniejsze),
- ze statystyk wiemy, że serwis ma 10 000 odwiedzin dziennie,
- chcemy, aby 100% odwiedzających brało udział w teście,
- nasz obecny współczynnik odwiedzin wynosi 3% i oczekujemy jego poprawy o 20%.

Czas badania = 30 dni

Dla mnie zarówno testy A/B jak i testy wielowymiarowe są wartościowym
źródłem informacji. O tym, jaką metodę stosować, decyduje najczęściej
sytuacja, w której znajduje się klient, mam tu na myśli jego potrzeby i możliwości.

Chciałbym też zaznaczyć, że cały proces, który opisałem w artykule można sprowadzić do dwóch najważniejszych rzeczy: "zdrowy rozsądek"
oraz "trzeźwe myślenie".
 1 / 1 
Trwa zapisywanie komentarza
Dodaj komentarz
Zaloguj się
Jeśli nie masz jeszcze konta w Interaktywnie.com - możesz się zarejestrować albo
wymagane
 
obrazek nieczytelny
 
 
wyślij
wizytówki firm
szukasz klientów dla firmy?
NuOrder
 
Arrow
newsletter
Arrow
Loader
Up Down
ostatnie komentarze
 
Dołącz do społeczności interaktywnie.com
 
 
 
 
© 2019 interaktywnie.com. All rights reserved.