Badania użyteczności online - jak wyłapać oszusta

Badania użyteczności online są coraz częściej wykorzystywaną techniką badawczą. W Europie Zachodniej oraz USA klienci praktycznie nie mają już oporu przed korzystaniem z tej metody. W Polsce temat jest ciągle świeży, a wokół badań użyteczności online pojawia się wiele mitów i zarzutów. Jednym z najczęściej pojawiających się zastrzeżeń jest brak kontroli uczestników badania, którzy mogą być oszustami liczącymi jedynie na nagrodę. Zastanówmy się czy i jak można się przed tym zjawiskiem obronić?

Oszuści - czy tylko w badaniach użyteczności online?

Temat warto rozpocząć od stwierdzenia, że oszuści i naciągacze występują nie tylko w \"badaniach użyteczności online\". Sam (roz)poznałem przynajmniej kilka osób, które przychodziły na badania użyteczności, wywiady grupowe i indywidualne tylko w celach zarobkowych. Traktowały ten sposób spędzania czasu, jak drugą pracę. Czasami można je łatwo wyłowić \"z tłumu\", czasami wręcz się nie da. Różne sposoby weryfikacji pozwalają lepiej lub gorzej poradzić sobie z tym problemem. Skoro jest jednak obecny - dlaczego, żadna ze zlecających badania firm nie pyta: \" ... ale w jaki sposób pozbywacie się Państwo lub wychwytujecie oszustów wśród zgłaszających się uczestników do badań fokusowych czy użyteczności?\" Myślę, że powodów jest kilka, ale do najważniejszych zaliczyłbym:

• powszechność techniki badawczej - ponieważ wszyscy już tą technikę stosujemy od lat, to nie ma się czego obawiać,
• świadomość klienta - ponieważ już kilka razy robiłem takie badania to wiem, że oszustów można wyłapać,
• doświadczenie agencji, firmy badawczej - zlecam zadanie profesjonalistom, więc jestem spokojny, że zostanie ono dobrze zrobione.

W przypadku badań użyteczności online wyżej wymienione postulaty również mają zastosowanie, ale:

• technika stanie się powszechna z czasem, więc musimy się uzbroić w cierpliwość,
• doświadczenie agencji ze świata offline powinno się dać łatwo przenieść do świata online (w mojej ocenie).

Jak wyłapać oszusta online - część 1. Możliwości jakie dają narzędzia.

Wbrew pierwszemu wrażeniu, które można odnieść słysząc o badaniach użyteczności online - nie jest to wcale technika wymyślona w grudniu 2010. Różne firmy na całym świecie od wielu lat pracują nad odpowiednimi narzędziami do tego typu badań. Owe narzędzia przechodziły wielokrotne metamorfozy, upadały i powstawały na nowo, ewoluowały i zmieniały się nie do poznania. Przykładowo platforma UserZoom istnieje od co najmniej 2002 roku i ciągle jest udoskonalana na podstawie informacji od klientów. No dobrze, ale co jest efektem tych wszystkich zmian? Efektem są między innymi różne formy wychwytywania oszustów i naciągaczy. Przykładowo UserZoom umożliwia wyłapanie takich użytkowników na co najmniej 4 sposoby.

1. Odrzucanie \"sprinterów\" (ang. speeders) - może się odbywać na 2 sposoby:
   • względem czasu - jeżeli możemy ustalić określony minimalny czas realizacji (np. mało prawdopodobne, że określonego produktu ktoś będzie szukał mniej niż 30 s), to wszystkie osoby, które zrobią to szybciej zostają odrzucone,
   • względem liczby odwiedzonych stron - jeżeli wiemy, że najkrótsza droga do odpowiedzi składa się z 5 podstron, to również możemy ustalić parametr, aby wszystkie osoby, które odwiedzą ich mniej zostały wyeliminowane.
2. Ustalanie adresów sukcesu lub walidacji - możemy sprawdzić czy użytkownik, który wskazał odpowiedź, był na stronie, na której można ją znaleźć.
3. Śledzenie ścieżek przemieszczania - za pomocą ścieżek przemieszczania się użytkowników możemy zobaczyć czy użytkownik w ogóle ruszył się ze strony głównej, czy tylko udawał, że przez 10 minut szuka odpowiedniego produktu.
4. Zadawanie pytań walidacyjnych - możemy zapytać o interesującą nas informację i zweryfikować poprawność udzielonej odpowiedzi.

Wzajemne relacje (nawet między dwoma wskazanymi wyżej elementami) pozwalają już z dużą dokładnością wyeliminować osoby, które próbują nas oszukać.

Jak wyłapać oszusta online - część 2. Techniki tradycyjne.

W badaniach użyteczności online możemy z powodzeniem zastosować techniki, które są wykorzystywane w klasycznych badaniach użyteczności, ankietach, badaniach opinii itd. Należy tutaj wskazać przede wszystkim:

• technikę konkretnej odpowiedzi - w trakcie realizowanego badania możemy użytkownika poprosić o wskazanie konkretnej odpowiedzi w pytaniu (np. teraz zaznacz 3). Jeżeli użytkownik zaznaczy cokolwiek innego, wówczas otrzymujemy informację, że co najmniej częściowo myślami był w innym miejscu. Możemy go również zapytać o to samo pytanie, które zadawane było na samym początku, np.: ile ma Pan lat. Oszuści raczej nie pamiętają, jaką liczbę wskazali na początku badania,

• technikę wykluczających się odpowiedzi - w teście, w trakcie badania użyteczności możemy zastosować dwa razy to samo pytanie, ale napisane z odwrotnym zabarwieniem emocjonalnym. Innymi słowy jest to dokładnie to samo pytanie, ale w pierwszym przypadku ma ono wydźwięk pozytywny, a w drugim przypadku negatywny. Odpowiedzi na oba pytania powinny być zbliżone w zakresie intencji, ale nie wartości odpowiedzi. Przykładowo jeżeli za pierwszym razem ktoś wskazał 5 to w drugim pytaniu powinien 1 (lub ewentualnie 2), ale na pewno nie 5. Osoby o tych samych odpowiedziach można uznać za oszustów,

• technikę częściowo wykluczających się odpowiedzi - jest to najtrudniejsza i najbardziej pracochłonna technika, która jest rozwinięciem wyżej opisanej. Polega ona na tym, że nie mamy dwóch identycznych pytań, ale pytania, które są w teście z logicznego punktu widzenia wymagają odmiennych odpowiedzi. Przykładowo raczej mało prawdopodobna jest zgodność w pytaniach: \"Chciałbym często korzystać z tej strony?\" oraz \"Strona mi się nie podobała, jest zbyt trudna w obsłudze\".

Jak wyłapać oszusta online - część 3. Wynagrodzenie.

Ostatni element ma raczej charakter psychologiczny i jest związany z postępowaniem oszustów i naciągaczy. W badaniach użyteczności online stosuje się jedną z 2 zasad wynagradzania:

• nagrodę otrzymuje każdy, ale jest ona stosunkowo mała (ze względu na dużą liczbę uczestników badania),
• nagrodę otrzymuje np. co 10 osoba - wówczas wynagrodzenie jest wyższe, ale szansa jego otrzymania jest niższa,
• nikt nie otrzymuje wynagrodzenia - właściciele serwisu proszą o pomoc swoich użytkowników, a chęć ich pomocy traktują jako \"wolontariat na rzecz serwisu\". Bardzo często użytkownicy chcą pomóc swoim serwisom i chętnie się na takie badania decydują, odczuwając jednocześnie satysfakcję z możliwości pomocy (oczywiście, jeżeli ankieta nie trwa 60 minut).

Wbrew pozorom - czynnik nagrody może być najistotniejszy w procesie eliminacji naciągaczy. Zazwyczaj oczekują oni pewnego, wysokiego wynagrodzenia za swój czas. W żadnym z powyższych przypadków nie mogą oni liczyć na spełnienie swoich oczekiwań, a co za tym idzie - badania użyteczności online są dla nich mało atrakcyjne.

Podsumowanie

Mam nadzieję, że wskazane przeze mnie informacje na temat sposobów wyławiania oszustów pokazują, że jest to już obecnie problem raczej teoretyczny. Oczywiście nie twierdzę, że w badaniu użyteczności online nie trafi się żaden oszust, ale jestem skłonny stwierdzić, że osoba, która ominie wszystkie zastawione na naciągacza pułapki, nieświadomie stanie się pełnoprawnym badanym w trakcie stosowania swoich uników. Zachęcam zatem do wypróbowania badań użyteczności online bez obaw, że połowa zebranej próby to oszuści, którzy na pewno podadzą złe odpowiedzi. Taka sytuacja jest po prostu niemożliwa.

Pobierz ebook "Social media marketing dla firm i agencje się w nim specjalizujące"