Świętość działów marketingu, czy krzywe zwierciadło polskiego Internetu? Odsłaniamy kulisy kontrowersji związanych z badaniem Megapanel PBI/Gemius.
Czy tego chcemy czy nie, badanie Megapanel, za którego realizację odpowiada spółka Polskie Badania Internetu (PBI), wyznacza obraz rynku internetowego. Wykonawcą badania na zlecenie PBI jest Gemius SA, jednak faktyczną kontrolę na metodologią sprawują główni gracze ryku online: Onet, Wirtualna Polska, Interia i Gazeta. Piątym udziałowcem spółki jest właściciel marginalnego z punktu widzenia rynku serwisu Rzeczpospolita.pl, co stanowi swego rodzaju zaszłość.
PBI powstało w 2002 roku, aby wprowadzić standard pomiaru rynku online w Polsce. W tamtym czasie branża internetowa posługiwała się wieloma różnymi systemami pomiaru publiczności w sieci. Prowadziło to do sporów o zasięg poszczególnych witryn pomiędzy wydawcami, sieciami reklamowymi czy właścicielami serwisów www oraz w oczywisty sposób utrudniało planowanie internetu i uwzględnianie go w kampaniach reklamowych. Wydawało się zatem, że standard jest ze wszech miar potrzebny.
Jednak już na początku realizacji tego pomysłu pojawiły się problemy. Jak wspomnieliśmy wyżej firmą, która prowadzi badania według metodologii PBI jest wybrany w drodze przetargu Gemius SA. Warto podkreślić, że do niedawna nie było dla niego realnych alternatyw, a w 2000 roku Polska była zbyt małym rynkiem, aby zainteresować globalne firmy badawcze. Problemem dla polskich podmiotów internetowych były również proponowane przez firmy z zagranicy stawki wykonania pomiaru tego typu.
Na terenie Polski prawa do korzystania z metodologii Megapanelu należą do PBI, Gemius natomiast może z niej korzystać poza terytorium naszego kraju, co zresztą czyni dokonując ekspansji rynki Europy Środkowo-Wschodniej. Ostatnio Gemius został wybrany do realizacji pomiaru sieci na Ukrainie. Wraz z rozwojem na rynkach regionu CEE, Polska zaczyna odgrywać dla firmy coraz mniej istotną rolę.
W tym roku pojawiło się nowe zagrożenie dla rozwoju badania - przejęcie firmy Gemius przez powiązany z Zygmuntem Solorzem fundusz inwestycyjny Trigon. Spowodowało to dużą nerwowość wśród wspólników PBI. Dodatkowo twórca badania – Marcin Pery - odszedł z zarządu Gemiusa oraz z Rady Badania, aby rozpocząć pracę w Redefine - spółce utworzonej przez Polsat. Odejście Perego sprawiło, że w Radzie Badania znacznie więcej niż wcześniej mają do powiedzenia portale.
"Chory" standard
Narastające przez lata tarcia i konflikty pomiędzy PBI, Gemiusem i poszczególnymi portalami doprowadziły do stagnacji w rozwoju samego badania. PBI przegapiło takie obszary jak pomiar wideo, internetu mobilnego czy aplikacji. Gemius dysponuje narzędziami pozwalającymi mierzyć wideo oraz mobile, jednak za ich wdrożenie najprawdopodobniej żąda dodatkowych opłat. Natomiast PBI płaci Gemiusowi na tyle wysokie stawki, że powinny one pokrywać rozwój metodologii badania. Sytuacja patowa trwa a jakość relacji między PBI a Gemiusem najlepiej obrazuje fakt, że wśród partnerów oraz gości organizowanej przez Gemius konferencji Internet CEE próżno szukać PBI – największego polskiego klienta Gemiusa.Niestety internet nie stoi w miejscu i trwanie wyłącznie w metodologii opierającej się na cookie i odsłonach nie ma dużej szansy na utrzymanie się wśród coraz bardziej różnorodnych pod względem zastosowań i sposobów wykonania stron internetowych.
Metodologia badania oraz jego wyniki właściwie od samego początku budziły wątpliwości i krytykę. Najczęstszymi zarzutami kierowanymi w stronę PBI są: opóźnienie publikacji wyników o 2 miesiące, koszt i sposób dystrybucji badania, wpływ portali na wyniki oraz brak korelacji pomiędzy danymi ze statystyk serwisów a tymi prezentowanymi w Megapanelu.
Oczywiście nie należy zakładać, że istnieje metodologia idealna. Każda opiera się o konkretne założenia. Jednak dodatkowym problemem Megapanelu jest podstawowy dla badania wskaźnik "real user" nie stosowany przez żadna inna firmą badawczą na świecie. Opracowany przez Gemius algorytm służy do zliczania faktycznej ilości konsumentów odwiedzających dany serwis internetowy w konkretnym przedziale czasu. Algorytm ten jest, jak podkreśla samo PBI „unikalny na skalę światową”. Owa unikalność, o ile ma swoje dobre strony, o których za chwilę, o tyle przyczynia się również do braku porównywalności wyników Megapanelu z jakimkolwiek innym systemem pomiaru oglądalności sieci.
PBI może obawiać się wprowadzenia zmian, które są konieczne do tego, aby wyniki Megapanelu były dokładniejsze. Przeniesienie skryptu audytowego z sekcji <HEAD> na koniec badanej strony (wzorem zagranicznych systemów) może spowodować zmiany w wynikach o kilka lub nawet kilkanaście procent. Wykorzystanie flaszowych cookies czy uwzględnienie faktu przeglądania stron internetowych za pomocą zakładek może mieć jeszcze bardziej znaczący wpływ wyniki. Czy PBI oraz jego właściciele są na te zmiany gotowi?
Karty w Firefox - zmora badacza Wyniki Megapanelu przekonują o stałym wzroście czasu przeznaczonego na konsumpcję Internetu. Nikt jednak nie uwzględnia rosnącej popularności przeglądarek wyposażonych w karty. Jeśli w tym momencie oprócz interaktywnie.com masz otwarte także inne strony, to czas spędzony na lekturze niniejszego artykułu zostanie jednocześnie zaliczony w poczet czasu spędzonego na witrynach z pozostałych zakładek.
Obrona Megapalnelu
„Unikalność” algorytmu Real Users polega również na tym, iż przynajmniej z założenia ma on być dokładny, czyli obliczać faktyczną liczbę osób korzystających z danego serwisu. Problemami z jakimi należy się uporać tworząc wskaźnik mówiący o tym ile realnych osób odwiedza serwis są między innymi: korzystanie z jednego komputera przez kilka osób (np. w kawiarence), korzystanie z sieci w pracy lub na uczelni (w szkole) i w domu przez tą samą osobę, używanie kilku rodzajów przeglądarek internetowych, czy w końcu kasowanie plików cookie (blokowanie cookie może być dokonywane również bez udziału użytkownika, np. poprzez systemy antywirusowe). Bez uwzględnienia powyższych uwarunkowań mogłoby się okazać, że jeden konsument odpowiada nawet za 10 plików cookie, czyli w praktyce za 10 "unikalnych użytkowników". „Real User jest dobrym i ugruntowanym wskaźnikiem na polskim rynku”, mówił w jednym z wywiadów prezes PBI, Andrzej Garapich. „(…) z algorytmem tym (…) jest trochę jak z demokracją ze znanego stwierdzenia Churchilla: nie jest doskonały, ale nic lepszego na razie nie wymyślono”. Chyba jednak zarówno PBI jak i Gemius mają problem z transferem tej wiedzy do rynku. Przyczyna takiego stanu rzeczy jest zapewne zazdrośnie strzeżona metodologia badania i nie dopuszczenie do udziału w pracach nad Megapanelem firm spoza "wielkiej czwórki". Działania PRowe i edukacyjne również nie są silną stroną PBI. To na szczęście w najbliższym czasie się zmieni, ponieważ do zespołu PBI już w listopadzie dołączy PR manager.
W artykule na jednym z wpływowych blogów możemy, na przykład, przeczytać: „(…) serwis Fotka.pl według Megapanelu ma zasięg na poziomie 3 milionów realnych użytkowników (RU), tymczasem inne statystyki podają 9 milionów unikanych użytkowników (UU). Da się to jakoś logicznie wytłumaczyć? Pewnie się da, tylko czy czytając o zagranicznych serwisach, które mierzą unikalnych użytkowników będziemy wiedzieli jak to porównać do naszych RU (może PBI ma jakiś konwerter z UU<>RU?)”.
Nie ma, bo są to wielkości nieporównywalne. Megapanel zawsze doważany jest wynikami badania NetTrack wykonywanego przez SMG/KRC oraz Gemius Traffic, a różnice pomiędzy jego wynikami, a danymi z innych źródeł (np. Google Analytics) mogą się różnić nawet o 100%. Skąd takie rozbieżności?
Poza wymienionymi wyżej uwarunkowaniami, Megapanel nie uwzględnia całego ruchu pochodzącego spoza Polski, co w sposób oczywisty zaniża statystyki prezentowane przez PBI i Gemius w stosunku do danych pochodzących z innych źródeł. Oprócz tego jego głównym przeznaczeniem nie jest prezentacja ruchu, a określenie profilu demograficznego odbiorców internetu w Polsce. Stąd „doważanie” na podstawie innych badań dostarczających danych na temat struktury demograficznej polskich internautów. Sam zasięg serwisu nie powinien być wartością dla reklamodawców, dużo większe znaczenie ma określenie do kogo kierowana jest reklama, a to właśnie umożliwia planowanie kampanii w oparciu o Megapanel.
Jednak do tego także można mieć zastrzeżenia. Od roku 2004, kiedy to kwestionariusz badania po raz pierwszy trafił na monitory panelistów w internecie zmieniło się bardzo wiele - przede wszystkim jeśli chodzi o zachowania internautów oraz sposób przeglądania stron www. Natomiast zmiany w metodologii Megapanelu, które w tym czasie zaszły delikatnie określić można jako "kosmetyczne".
Co dalej z badaniem?
W czasie w którym, ani spółka PBI, ani Gemius nie potrafią dogadać się pomiędzy sobą w sprawie modernizacji czy dystrybucji badania, rynek nie stoi w miejscu. Polskim rynkiem zainteresowali się światowi gracze z branży badawczej – Nielsen, Spring i comScore. Należy zakładać, że w przyszłym roku przynajmniej jedna z tych firm stworzy własny panel na polskim rynku i zacznie publikować swoje dane. Nie śpi także Google, który w oparciu m.in. o Google Analytics udostępnił bezpłatne narzędzie Google AdPlanner. Co ciekawe system Google publikuje już dane o zasięgu polskich serwisów. Nie są one obecnie zbyt precyzyjne, ale należy zakładać, że podobnie jak z innymi rozwiązaniami Google, (jak. np. Analytics) szybko zyska na dokładności i powszechności.Całkiem realnym scenariuszem wydaje się także zbudowanie alternatywnego systemu przez niezadowolonych z obecnego stanu rzeczy, a pozostających poza PBI właścicielami znaczących stron, takich jak choćby: Nasza-Klasa, o2, Fotka czy Money.pl. Wydarzenia na rynku badań internetu zaczęły nabierać tempa i PBI musi to zrozumieć. W innym wypadku może się za rok czy dwa okazać, że istnieją co najmniej dwie realne alternatywy dla badania Megapanel. Jednak zmiany nie wydają się możliwe przy zachowaniu obecnej hermetycznej struktury PBI.
Kto za to płaci?
Warto zauważyć, że koszty prowadzenia badania ponoszą jedynie właściciele PBI, natomiast badane witryny nic za udział w nim nie płacą. Ta sytuacja może się zmienić jeśli zarząd PBI podejmie decyzję o uwzględnieniu w Megapanelu przykładowo jedynie 100 największych witryn, oraz tych, które zdecydują się zapłacić. Podobna sytuacja ma miejsce w badaniach prasy – nie płacisz – to nie ma cię w PBC (Polskie Badania Czytelnictwa).Paradoksalnie takie rozwiązanie mogło by pozytywnie wpłynąć na opinię o Megapanelu. Największe rozbieżności w wynikach zdarzają się bowiem w tzw. „długim ogonie”, czyli w witrynach notujących niewielką ilość odwiedzin. Natomiast osoby związane z tymi witrynami robią najwięcej negatywnego PRu PBI oraz Gemiusowi.
Sytuacja ta może jednak okazać się nie do końca na rękę Gemiusowi. Strategia cenowa tej firmy zakłada bowiem niskie w porównaniu do konkurencji koszty realizacji badania. Jednak jego powszechność oraz dostęp do unikatowych danych pozwala sprzedawać dodatkowe narzędzia i usługi badawcze za duże pieniądze. I na tym tak naprawdę zarabia Gemius.
Jeśli nie wiadomo o co chodzi, chodzi o...
Wygłoszono już wiele deklaracji na temat Megapanelu i PBI. Oficjalnie wszystkie strony tej zagmatwanej sytuacji są "otwarte". Jednak nic konkretnego do tej pory się nie wydarzyło. I pod wpływem tego artykułu pewnie się nie wydarzy.Trudne pytania?
Metodologia badania oraz jego wyniki od samego początku budzą wątpliwości i krytykę. Najczęstszymi zarzutami kierowanymi w stronę PBI jest opóźnienie publikacji wyników o 3 miesiące oraz nie uwzględnianie ruchu pochodzącego spoza Polski. Poniżej wyjaśniamy powody takiej sytuacji.Wyniki Megapanelu udostępniane są dopiero po 3 miesiącach.
Do obliczenia wskaźnika Real Users wykorzystywane się wyłącznie - tak zwane - Good Cookies. Są to pliki Cookies, które znajdują się na komputerze użytkownika minimum 3 miesiące. Dzięki takiemu założeniu otrzymujemy bardziej wiarygodne wyniki, jednak na ich dostarczenie trzeba czekać 3 miesiące.
Gemius dysponuje metodologią pozwalającą na prezentowanie wyników w czasie rzeczywistym. Mowa tu o LBU (Lower Bound Users – Minimalna Pewna Liczba Użytkowników) - algorytmie, który stosowany jest przez Gemiusa do badania duńskiego internetu. W LBU zlicza się jedynie te pliki cookies, z których minimum 2 razy dokonano wejścia na daną witrynę. W praktyce jeśli internauta wszedł na jakiś serwis tylko raz w ciągu miesiąca wizyta ta nie zostanie w żaden sposób odnotowana w wynikach. Dopiero drugie wejście spowoduje powiększenie audytorium danej witryny o 1 osobę.
Megapanel nie uwzględnia ruchu pochodzącego spoza Polski.
Wynika to ze słusznego założenia, że dla marketerów cennymi internautami są osoby znające język polski. Tymczasem nie da się stwierdzić, czy używający zagranicznego numeru IP internauta jest Polakiem na obczyźnie, czy też obcokrajowcem. Tajemnicą poliszynela jest fakt, że z bezpłatnego hostingu udostępnianego przez Interię korzysta około 2 milionów Chińczyków. Chyba nie trzeba dodawać, że liczba tego rzędu poważnie wpłynęłaby na wyniki Megapanelu.
Pobierz ebook "Social media marketing dla firm i agencje się w nim specjalizujące"
Zaloguj się, a jeśli nie masz jeszcze konta w Interaktywnie.com - możesz się zarejestrować albo zalogować przez Facebooka.
Pomagamy markom odnosić sukces w Internecie. Specjalizujemy się w pozycjonowaniu stron, performance marketingu, social …
Zobacz profil w katalogu firm
»
1stplace.pl to profesjonalna agencja SEO/SEM, specjalizująca się w szeroko pojętym marketingu internetowym. Firma oferuje …
Zobacz profil w katalogu firm
»
Pozycjonujemy się jako alternatywa dla agencji sieciowych, oferując konkurencyjną jakość, niższe koszty i większą …
Zobacz profil w katalogu firm
»
W 1999 roku stworzyliśmy jedną z pierwszych firm hostingowych w Polsce. Od tego czasu …
Zobacz profil w katalogu firm
»
Projektujemy i wdrażamy strony internetowe - m.in. sklepy, landing page, firmowe. Świadczymy usługi związane …
Zobacz profil w katalogu firm
»
@Jacek Gadzinowski <br /> <br /> \"Chinski Syndrom\" - porownywanie Alexa.com z Megapanelem czy nawet z GA nie ma najmniejszego sensu. Wyniki rankingu Alexa.com pochodza z toolbarow instalowanych przez uzytkownikow i nikt tu nie w zaden sposob nie kontroluje (ani nie koryguje), na ile proba ta jest reprezentatywna. I to nie tylko dla uzytkownikow ogolem, ale i dla uzytkownikow z Polski. Zreszta wspominaja o tym sami tworcy w helpie:<br /> <br /> \"The traffic data are based on the set of toolbars that use Alexa data, which may not be a representative sample of the global Internet population. To the extent that our sample of users differs from the set of all Internet users, our traffic estimates may over- or under-estimate the actual traffic to any particular site.\"<br /> <br /> Alexa \"cos pokazuje\" ale trudno powiedziec dokladnie co. Jedyny sens Alexy widze w zgrubnych danych dla trendow, czyli mozna ewentualnie to odnosic do Google Trends dla Websites.<br /> <br /> Ciekawa jest kwestia Chinczykow, ale mysle ze nikt nie bedzie sie upieral, ze blisko 300 tysiecy Chinczykow korzysta w miesiacu z Fotki albo ze ponad 200 tys. Chinczykow ma profile na Gronie. A tak musialoby byc, gdyby wierzyc tym danym. Pytanie skad takie skrzywienie wynikow, poza niereprezentatywna proba? Ciezko na to odpowiedziec - w przypadku cdawnego casusu Interii mielismy wyjazsnienie w postaci zainteresowania darmowym hostingiem. Gdyby miec dane site-centric z powyzszych wymienionych serwisow, to byloby chociaz widac na ile skrzywienie jest silne. Trudno tez znalezc sensowny, logiczny powod, dla ktorego nie znajacy j.polskiego Chinczyk mialby miec profil na grono.net. A poki co, Polacy az tak masowo nie jezdza do CHin, aby podczas urlopu tworzyc ruch z zagranicznego IP z Chin.<br /> <br /> Co do ponizszej wypowiedzi - to co ma Pan konkretnie na mysli?<br /> <br /> \"Zgodzę się że taki \"standard\" nie jest żadnym \"standardem metra\", ale nieudolną próbą kwantyfikacji ruchu. Zwłaszcza jest naznaczony rakiem od pewnego czasu... który go powoli uśmierca.\"
@josemichus - sieci reklamowe czy portale oferuja geotargetowanie po numerach IP, stad w zaleznosci od potrzeb reklamodawcy, mozna emitowac reklame tylko do mieszkancow np. Warszawy, albo do Polakow wchodzacych na witryne z IP wskazujacym na UK;
Ciekawe, Google Trends w ogóle nie potwierdzają chińskiego ruchu na tych stronach.
Dla przykładu spojrzałem dzisiaj na alexa.com i co zobaczyłem?<br /> \"Ruch z Chin\" to:<br /> 26,4% Grono.net<br /> 12,3% Fotka.pl<br /> 8,6% Interia.pl<br /> 5,4% Wp.pl<br /> 3,9% Onet.pl<br /> <br /> \"Chiński syndrom\" czy ruch z kosmosu ?!<br /> Skoro wychodzą takie kwiatki, to jak tu pożniej nie dziwic się róznicom w wynikach z GA, GT, MP - różnica 30-50% to norma. Nie ma wskażników obiektywnych, a wydawanie kasy na tej podstawie na kampanie zasiegowe to często - wróżenie z fusów.<br /> <br /> Zgodzę się że taki \"standard\" nie jest żadnym \"standardem metra\", ale nieudolną próbą kwantyfikacji ruchu. Zwłaszcza jest naznaczony rakiem od pewnego czasu... który go powoli uśmierca.
Ja mam pytanie dotyczące parametru Lower Bound Users: czy prowadzone są badania dotyczące tego, jaki procent użytkowników, którzy w danym miesiącu pojawiają się tylko raz w serwisie ,wychodzi z niego poprzez kliknięcie w reklamę?
Ale jesli planuje sie kampanie na Interii i jest ona tam realizowana to czy ustawiana jest ona automatycznie na tylko na Polske ? Bo jesli nie to na co nam takie badanie skoro 20% naszych odslon pojdzie do nieuwzglednionych w badaniu \'Chińczyków\'
<blockquote>Jeśli są błędy algorytmach, metodologii, to skrzywiają wyniki dla wszystkich witryn proporcjonalnie (w miarę).</blockquote><br /> <br /> problemem jest to, że nie jest to właśnie proporcjonalne, miałem wjazd na statystyki jednego z portali, wniosek jest jeden, ucina dla małych witryn, dodaje do portali
\"jeśli nie wiadomo o co chodzi...\". Od początku wiadomo, że chodzi o kasę. Megapanel jest przede wszystkim narzędziem służącym domom mediowym do planowania kampanii reklamowych. Ma oczywiście swoje wady (jak każde badanie, niezależnie od tego, czy robione przez Gemiusa, Nielsena czy Google). Wg mnie jego podstawową zaletą jest to, że... jest, bo był i jak na razie nadal jest jedynym tego narzędziem wspomagającym planerów w Polsce. Pozwala też porównywać wszystkie główne witryny w polskim internecie. Jeśli są błędy algorytmach, metodologii, to skrzywiają wyniki dla wszystkich witryn proporcjonalnie (w miarę). Więc nadal można porównać potencjał reklamowy witryny A z witrybą B. <br /> Z punktu widzenia wyżej wymienionego celu korzystania z badania, nie ma znaczenia nieuwzględnianie ruchu na witrynach z zagranicy, bo obcokrajowcy (zwłaszcza Chińczycy mieszkający na stałe w Chinach) raczej nie są odbiorcami kampanii reklamowych realizowanych w Polsce. Można by zastanawiać się nad Polonią, ale oni raczej nie kupią Skody na wielkiej wyprzedaży w polskich salonach lub abonamentu w Plusie ;-)<br /> Z tego punktu widzenia ważna jest możliwość doboru witryn pod kątem np. affinity index, dopasowania witryny do targetu oraz oszacowanie zasięgu kampanii. To potem oczywiście jest (a przynajmniej powinno być) weryfikowane na podstawie informacji o rzeczywistej emisji uzyskiwanych z adserwerów, więc przynajmniej w kampaniach odsłonowych specjalnego problemu nie ma.<br /> Niemniej z niecierpliwością oczekuję konkurencji i w tym segmencie rynku, bo to na pewno podniesie poziom oferowanych usług. I może obniży ceny ;-)
Wrzosin, czy Ty na każdym kroku musisz być zawsze i wszędzie takim upierdliwym chłopcem z ostatniej ławki - \"a pani napisała tutaj źle na tablicy\"? ;-) Naprawdę chcesz sprowadzić rzecz do starego sporu w stylu \"przetłumaczmy wreszcie po ludzku przeglądarkę Mozilla\"?
Zakładki to nie karty. W takim fachowym artykule to trochę razi, nieprawdaż?