2. Agenda Dane służące do analizy wyników badań użyteczności. Metryki użyteczności. Zastosowanie clicktrackingu. Motiontracking. Charakterystyka danych. System ewaluacji zachowań użytkowników na stronach internetowych bez udziału moderatora i użytkownika. Case study: Czytodziala.pl. Metoda porównania danych. Dmitrij Żatuchin, QAFA-TMS, Kraków 2008
3. Dane służące do analizy wyników badań użyteczności. Dane uzyskiwane podczas badań: Notatka, odpowiedzi na ankietę, lista kontrolna Wywiad przed- i potestowy Dane pozyskane automatycznie za pomocą sprzętu i oprogramowania Statystyczne dane Analiza ekspercka Dane pozyskiwane bez udziału użytkowników: ślady drogi (ślady myszki), mapę cieplną, mapę kliknięć, obszary skupienia wzroku, pliki z historią dokonanych akcji na stronie. Dmitrij Żatuchin, QAFA-TMS, Kraków 2008
4. Metryki użyteczności Potrzebne, aby ocenić o ile bardziej użyteczny jest produkt po wprowadzonych poprawkach Prosty przykład: ISO 9126: skuteczność zadaniowa, kompletność zadaniowa, częstotliwość błędów. Dmitrij Żatuchin, QAFA-TMS, Kraków 2008 Zadanie/Czas Przed poprawkami Po przeprojektowaniu Poprawa % Zadanie 1 20 s 6 s 233 Zadanie 2 80 s 55 s 45 Zadanie 3 150 s 160 s -6 Czas razem 250 s 121 s Arytmetycznie 107% lepiej Geometrycznie (biorąc pod uwagę spadek użyteczności) 63% lepiej
5. Zastosowanie clicktrackingu 1/2 Metoda wykorzystywaną do śledzenia aktywności użytkowników na stronach WWW, lecz nie samych akcji; oraz testach A/B Dane z clicktrackera: czas kliknięcia pozycja kliknięcia liczba kliknięć w dany element parametry użytkownika (GeoIP, browser, etc.) Dmitrij Żatuchin, QAFA-TMS, Kraków 2008
6. Zastosowanie clicktrackingu 2/2 Możliwe sposoby prezentacji danych to: mapa kliknięć mapa cieplna Mapa kliknięć - dwie warstwy nałożone na siebie Mapa cieplna – graficzna reprezentacja liczby punktów skupień w określonym promieniu Pomaga rozwiązywać problem product placement Dmitrij Żatuchin, QAFA-TMS, Kraków 2008
7. Motiontracking. Charakterystyka danych. „ nagrywanie” ruchów i akcji wykonywanych przez użytkownika na stronie WWW w czasie rzeczywistym Trybem dyskretnym ciągłym notowana jest w krótkim odstępnie czasu czwórka danych: P – pozycja kursora T – czas pozycji w wyznaczonym miejscu L – długość przestoju kursora A – rodzaj akcji, np. przeciąganie, kliknięcie, fiksacja, opuszczenie Dmitrij Żatuchin, QAFA-TMS, Kraków 2008
8. Motiontracking. Ścieżka wizyty użytkownika graf zachowań sieciowych System webowy: Kreślenie ścieżek użytkowników Idealna ścieżka od punktu startu do celu jako wzorzec do porównywania Dmitrij Żatuchin, QAFA-TMS, Kraków 2008
10. Działanie web aplikacji Obitracks.com Dwie mniejsze aplikacji: User Tracker: Kod JavaScript (e.g. GoogleAnalytics) Server Controller: Generuje ClickMap oraz HitMap Przykład wpisu danych: Dmitrij Żatuchin, QAFA-TMS, Kraków 2008 Dane: 382|640|1007|firefox|3| 1200762663|156.17.227.10 czyli X | Y | browser_width | browser_type | timestamp_unix | client_IP
12. Case study: Czytodziala.pl. Zadania. Zadanie 1 Wejdź na stronę http://czytodziala.pl Spróbuj zapisać się na monitoring nasza-klasa.pl dla adresu Gadu-Gadu. Powtórz Krok nr 2 dla niepoprawnych danych. Zadanie 2 Wejdź na stronę http://czytodziala.pl Załóż nowe konto w serwisie. Dodaj 1 kontakt mailowy, 1 test na dowolny protokół z dowolnymi ustawieniami. Przypisz kontakt RSS do testu. Zadanie 3 Wejdź na stronę http://czytodziala.pl Zaloguj się na swoje konto. Odpowiedz na trzy pytania: Czy wszystko, co widzę, jest dla mnie jasne? Wiesz gdzie jesteś? Gdybym był w stanie, co bym poprawił na tej stronie? Co przykuwa największą uwagę? Dmitrij Żatuchin, QAFA-TMS, Kraków 2008
13. Case study: Testowanie i wyniki 8 użytkowników Natywne środowisko pracy użytkowników Testy eyetrack w laboratorium ergonomii PWr Analiza porównawczą jakości uzyskanych wyników przez web aplikację i Eyetrack 6000 (GTAnaly) Dmitrij Żatuchin, QAFA-TMS, Kraków 2008
14. Case study: Czytodziala.pl. Mapa cieplna Dmitrij Żatuchin, QAFA-TMS, Kraków 2008
17. Metoda porównania danych. Dmitrij Żatuchin, QAFA-TMS, Kraków 2008 Webowy system. 486|87|998|opera|1|1200958706460|82.143.157.23 592|95|998|opera|1|1200958709735|82.143.157.23 556|86|998|opera|1|1200958716499|82.143.157.23 674|94|998|opera|1|1200958718808|82.143.157.23 549|91|998|opera|1|1200958731017|82.143.157.23 1122|238|1257|firefox|1|1200958981668|62.21.16.7 599|91|1257|opera|2|1200962745875|83.12.143.166 Eyetrack6000. Win, Code, Number, x, y, Start Time, End Time, Duration, Scroll Set, LZ Name Czytodziala.pl - monitoring stron WWW- Mozilla Firefox, F, 57, 337, 604, 20.658, 20.698, 0.040, 0, Czytodziala.pl - monitoring stron WWW- Mozilla Firefox, F, 58, 206, 604, 20.718, 20.858, 0.140, 0, Czytodziala.pl - monitoring stron WWW- Mozilla Firefox, F, 59, 325, 605, 20.878, 20.918, 0.040, 0, Czytodziala.pl - monitoring stron WWW- Mozilla Firefox, F, 60, 822, 603, 21.098, 21.358, 0.260, 0, Czytodziala.pl - monitoring stron WWW- Mozilla Firefox, F, 61, 795, 604, 21.518, 21.638, 0.120, 0
18. Metoda porównania danych: Algorytm 1. Suma różnic odległości między punktami w stosunku do łącznej długości ścieżki. Dmitrij Żatuchin, QAFA-TMS, Kraków 2008
19. Metoda porównania danych: Algorytm 2. Różnica w położeniu kursora i czasie przestoju między poprzedzającym i następującym kliknięciu. Dmitrij Żatuchin, QAFA-TMS, Kraków 2008
20. Metoda porównania danych. Kroki. Wyznaczane wartości: NOOP TIME DURATION (ms) – długość przestoju myszki w danej pozycji NOOP POINT – punkt przestoju myszki, uwarunkowany stałą NOOP_LIM (100ms), która określa potrzebny czas do zmiany stanu z ACTIVE na NOOP MAX_NORMALIZED_DIFF_LENGTH – stała obliczana poprzez pierwiastkowanie iloczynu szerokości i wysokości ekranu przeglądarki. Działanie algorytmu: Porównanie punktów tylko wtedy gdy wartość bezwzględna między długością ścieżek jest mniejsza niż MAX_NORMALIZED_DIFF_LENGTH Wyliczenie odległości między punktami dwóch ścieżek wykresu w stosunku do odległości od punktu (0,1) - początek ekranu Wyliczenie różnic w czasie przestoju między dwoma ścieżkami Uwzględnienie odchylenia standardowego Obliczenie iloczynu z poszczególnych współczynników podobieństwa – podobieństwo geometryczne Dmitrij Żatuchin, QAFA-TMS, Kraków 2008
21. Literatura HACKOS, J. T., REDISH J. C., User and Task Analysis for Interface Design HILBERT D. M., REDMILES D. F., Why Let Perfectly Good Usability Data Go to Waste? NIELSEN, J., Usability Engineering . NIELSEN, J., Designing Web usability - the practice of simplicity . NIELSEN J., http://www.useit.com/alertbox. NIELSEN, J., LORANGER H., Prioritizing Web Usab ility NORMAN K. L., Levels of Automation and User Participation in Usability Testing. SOFTWARE QUALITY JOURNAL, Vol. 14, No. 2. (June 2006), 159-178. ZELDMAN J., Designing with Web Standards 2nd Edition . Standard ISO 9126. http://www.w3c.org www.upassoc.org/upa_publications/ Dmitrij Żatuchin, QAFA-TMS, Kraków 2008
22. Dziękuje za uwagę! Thanks for attention! Dmitrij Żatuchin, QAFA-TMS, Kraków 2008 Stała kontrola dostępności stron WWW, i testy wydajnościowe Zapraszamy do współpracy na Czytodziala.pl – partnera Konsorcjum „Użyteczna strona”. tel.+48 500 190 517 [email_address] Projektowanie serwisów korporacyjnych, społecznościowych, promocja i marketing SEO/SEM, wspieranie pomysłów. tel.+48 71 332 60 08 info@internetworks.pl
![Dziękuje za uwagę! Thanks for attention! Dmitrij Żatuchin, QAFA-TMS, Kraków 2008 Stała kontrola dostępności stron WWW, i testy wydajnościowe Zapraszamy do współpracy na Czytodziala.pl – partnera Konsorcjum „Użyteczna strona”. tel.+48 500 190 517 [email_address] Projektowanie serwisów korporacyjnych, społecznościowych, promocja i marketing SEO/SEM, wspieranie pomysłów. tel.+48 71 332 60 08 info@internetworks.pl](https://image.slidesharecdn.com/presentationusabilitydmizat-1207603829208454-8/85/Quality-and-usability-of-WWW-user-tracks-22-320.jpg)