Symetria bada użyteczność kodów CAPTCHA

Dopiero teraz udało mi się natrafić na te komentarze. Dziękuję w imieniu kolegów za przychylne, jak i krytyczne opinie - staramy się krok po kroku obserwować i dzielić się wiedzą o interakcji człowiek-internet ;-)<br /> <br /> Muszę się jednak odnieść do zarzutów Pawła Haltofa - nie tyle dotyczących samego opracowania (którego nie jestem autorem), co odnośnie sposobu badania procesu czytania. <br /> <br /> Paweł, napisałeś bardzo ciekawy komentarz. Muszę jednak powiedzieć, że mocno zdziwiło mnie kilka zawartych w nim informacji, napisanych na dodatek mocno protekcjonalnym tonem. Nie wiem, jak dużo masz doświadczenia z eye trackingiem, piszesz jednak rzeczy, które wymagają po prostu sprostowania:<br /> <br /> 1) <blockquote>\"Jeśli więc występowały faktycznie krótsze fiksacje poniżej 100ms\"</blockquote> <br /> Jaką długośc fiksacji masz na myśli? Znam badania, które wskazują, że 50ms to zupełne minimum dla rozpoznania krótkiego słowa i to w sytuacji, kiedy słowo po tym czasie po prostu zniknęło. W przypadku zwykłego czytania trzeba doliczyć jeszcze moment na zaprogramowanie i odpalenie sakady, nawet jeśli częściowo nałoży się on z poprzednim etapem. <br /> Okolice 100 ms są uznawaną i rozsądną normą nawet w badaniach czysto psychologicznych. <br /> Obniżenie filtru do kilkudziesięciu ms daje niewiele więcej szczegółowości, a może za to skutkować dodatkowo rejestrowaniem efektów zupełnie mimowolnych ruchów oka, jak mikrosakady.<br /> <br /> 2) <blockquote>\"człowiek skanuje wzrokiem każdą literę\"</blockquote> - to stwierdzenie wprawiło mnie w osłupienie. Rozumiem, że Twoim zdaniem podczas czytania zdania zawierającego 150 znaków następuje co najmniej 150 fiksacji? Byłoby to niezwykłym odkryciem, bo jeśli policzymy nawet dość szybkie fiksacje, to okaże się, że szybkie czytanie jednego zdania musiałoby zająć dobrych kilkanaście sekund :-)<br /> <br /> Jeśli widziałeś kiedyś wyniki wskazujące na to, że człowiek skanuje każdą literę, to byłbym ich bardzo ciekaw. Taka obserwacja przeczyłaby niezliczonej ilości eksperymentów oraz wiedzy na temat zakresu pola widzenia człowieka i sprowadzałaby czytanie prawie do płynnego śledzenia, co jest raczej mało prawdopodobne.<br /> <br /> 3) <blockquote>\"Jak zmienicie eye tracker na szybszy o dokładniejszy\"</blockquote> - rozumiem, że piszesz o T120. Dzięki za radę, ale chyba trochę za bardzo uwierzyłeś w marketingowy opis tego urządzenia. <br /> Miałem okazję rozmawiać o T120 z jego twórcami w trakcie zjazdów użytkowników zarówno w tym roku, jak i przed dwoma laty, gdy model był wprowadzany. To nie temat na ten serwis, ale już porównanie parametrów z kilkuletnim już 1750 wskazuje na dośc kosmetyczne różnice w dokładności (drift, zakres ruchów głowy), natomiast co do szybkości próbkowania, to jak wiesz tryb 120Hz działa tylko w określonych warunkach. Jest to bez wątpienia bardzo dobry eye tracker, ale jego znacząca przewaga nad poprzednikami to mocno dyskusyjna sprawa.<br /> <br /> 4) Odnośnie zastrzeżeń co do metodologii czy też właściwie ograniczonych informacji o niej...<br /> Dzięki za szczegółowe wskazania. Masz rację - są to problemy, z którymi ciągle na nowo trzeba się mierzyć. <br /> <br /> Martwi mnie jednak po raz kolejny Twój protekcjonalny ton. Każdy, kto słyszał nas na zeszłorocznym WUD, wie, że nie podchodzimy bezkrytycznie do śledzenia wzroku. Zdajemy sobie sprawę z ryzyka zagrożeń i przekłamań w konstruowaniu i przeprowadzaniu badań i naprawdę mamy w ich omijaniu troszkę doświadczenia (za parę miesięcy stukną 3 lata odkąd na stałe zagościł w Symetrii eye tracker). Nie opisujemy w szczegółach metod badawczych, bo tego typu opracowania to nie miejsce na dzielenie się know how.<br /> <br /> Pozdrawiam wszystkich i do zobaczenia przy okazji następnych opracowań!

Bardzo się cieszę, że publikujecie takie poglądowe badania, myślę, że znacznie rozszerzy to wiedzę i świadomość deweloperów przy weryfikacji osób.<br /> <br /> Ma trochę zastrzeżeń do metodologii badania, bo testy na próbie 3 różnych serwisów sugerują, że Captcha była za każdym razem inna (miała inna długość, komplikację i złożoności). Jeśli była przy każdym załadowaniu inna to porównania są wyłącznie ?poglądowe?, bo czas i liczba fiksacji ściśle zależy od samej złożoności captchy. W badaniu założono, że każda captcha jest taka sama ? czas odczytu też identyczny zależny wyłącznie od budowy serwisu. <br /> <br /> Wnioski, które wyciągacie dotyczą budowy całego formularza Captcha ? chętnie posłuchałbym więcej o jego wpływie na odczyt.<br /> Mam wątpliwość co do zastosowania instrukcji maskującej ? nie podaliście jaka była instrukcja? Główny problem instrukcji to cel badanego, jeśli go brak, to badani będą się zachowywać dowolnie. Jeśli w badaniu porównywano sprawność = czas, to zadanie badanych też powinno zakładać wiedzę, że mierzony jest czas. Każdy z badanych inaczej podchodzi do zadania jeśli wie, że właściwie to może pooglądać wszystko dookoła i nic mu w tym nie przeszkadza.. <br /> <br /> Jeśli już zdecydowaliście się odnieść wiedzę do populacji to konieczne jest podanie ile osób uczestniczyło w badaniu! Od razu nasuwa się wątpliwość o faktyczne liczby ? albo badanie jest poglądowe bez statystyk, albo statystyki z podstawowymi danymi. Liczba osób jest ważna, nawet jeśli byłoby to 3-5 osób to warto oceniać skąd tak ogromne odchylenia standardowe?<br /> <br /> W wynikach są jakieś przekłamania, bo tabela z wynikami testy t-Studenta i porównaniem średnich pokazuje co innego niż to co napisane. Przyjmujecie istotność na poziomie 0,05. A więc, nie ma istotnych różnic pomiędzy Gazeta i YouTube zarówno w liczbie fiksacji i czasie fiksacji (przy drugiej tabeli jest błąd). Istnieje wyłącznie różnica pomiędzy O2 a gazeta i O2 a YouTube zarówno w długości fiksacji i liczbie fiksacji.<br /> <br /> Szkoda, że zabrakło to porównania czasu wypełniania formularza, bo to przecież taka standardowa miara użyteczności, można się nią wspomóc...<br /> <br /> Ciekaw jestem jaką macie ustawioną wartość wyzwolenia fiksacji, bo na powyższych wynikach widać, że aby przeczytać skomplikowany tekst nie trzeba się skupiać na każdej literce? <br /> <br /> Ten starszy typ eye trackera ma pewnie max. 60Hz i pewnie granicę 100ms na wyzwolenie fiksacji z filtracją (taką ustawiliście?). Jeśli więc występowały faktycznie krótsze fiksacje poniżej 100ms, to nie będzie ich widać na wynikach, bo sprzęt jest niedokładny i nie nadaje się do psychologicznych pomiarów czytania. Przy takiej czułości dokładność jest na poziomie dużych prób ? takich jak są w porównaniach użyteczności. Jak zmienicie eye tracker na szybszy o dokładniejszy okaże się, że człowiek skanuje wzrokiem każdą literę a liczba fiksacji zależy od komplikacji tekstu. Tak więc 3-5 fiksacji to tylko uśredniona wartość ze sprzętu który nie ma wystarczającej dokładności aby badać fiksacje w czasie czytania liter.<br /> Ostatecznie raport bardzo ciekawy, wyniki i samo badanie są wątpliwe, ale pyzatym gratulacje za przygotowanie.

Mysle, ze badanie ma takze walor edukacyjny wobec webmasterow i za to najwieksze gratulacje dla ludzi z Symetrii!

Pomysł ciekawy, opracowanie również, szczególnie wartościowe jest spojrzenie z perspektywy przydatności CAPTCHA w ochronie przed automatami oraz z drugiej strony przyjazności procesu weryfikacji human/bot dla użytkownika. Gratuluje.

CAPTCHA ssie, każdy to wie!

Gratuluję ciekawego pomysłu na badanie. :-)