User Checks - Agile Usability Testing
3 likes2,667 views
Getting to a better design fast. User Checks is an agile way of usability testing with the focus on creating value. With User Checks the design accelerates to a higher level within a short period and relatively low cost and little resources. User Checks maximize the key element of usability testing: getting to empathy. A one day workshop, hosted by Design by Fire. The slides are a mix of Dutch and English.
User Checks - Agile Usability Testing
- 1. userneeds @anous user checks agile usability testing One day workshop by Userneeds - Anouschka Scholten Assisted by Arjanne Anouk Interact - Arjanne de Wolf Hosted by Design by Fire 23th of January 2015, Fort aan de Klop
- 2. userneeds @anous learning by doing zelf agile usability testen
- 3. userneeds @anous agenda Introduction 9:30 uur We split up 10:15 uur LUNCH 12:30 -13:00 UUR Plenair 15:00 uur Background & practical need to knows Plan the user check (till 10:50) Conduct the user check, 1st round (till 12:00) Analyse the findings Translate findings into a better design (till 14:15) Conduct the user check with other user(s), 2nd round (till 14:45) Wrap it all up (till 15:00) Share your experiences: 10 minute presentation per group (till 15:40) Learnings
- 4. userneeds @anous person needs goal Image: source http://thenextweb.com/dd/2014/05/27/context-design-seize-magic-moment/
- 5. userneeds @anous Start- en eindlocatie invullen Route voorbereiden Hoe lang duurt de reis, ik wil echt op tijd zijn!
- 6. userneeds @anous Waar? Hoe kan ik die andere locatie ingeven? Ik wil niet delen, opslaan of favoriet maken… Opnieuw proberen, misschien eerst de eindlocatie ingeven? Verdorie ik moet weg Wat is dit nou??!!! Wat ben ik toch dom… Dan maar naar de webversie van Google Maps
- 7. userneeds @anous Image source: http://www.techrepublic.com/blog/web-designer/balancing-the-website-design-between-business- objectives-and-user-experience/
- 8. userneeds @anous A good user experience fit users’ expectations and meet their goals It goes beyond usability: the facets of UX by Peter Morville http://semanticstudios.com/us er_experience_design/
- 9. userneeds @anous Slides with the hierarchy: http://www.slideshare.net/stephenpa/creating-pleasurable- interfaces-getting-from-tasks-to-experiences
- 10. userneeds @anous
- 11. userneeds @anous UCD process diagram (© Tom Wellings) Source http://www.emotivesystems.co.uk/ucd-process-diagram-and-guidelines/
- 12. userneeds @anous Definitie Usability Test ” The extent to which a product can be used by specified users to achieve specified goals with effectiveness, efficiency, and satisfaction in a specified context of use.” The International Organization for Standardization (IOS)
- 13. userneeds @anous Misvattingen Iedereen kan usability testen Jawel, iedereen kan het doen, maar weinigen doen het goed: ervaring is een belangrijke factor, wat zeg je wel en wat juist niet, hoe coordineer je… Usability testen gaat alleen om het testen van de usability De meeste usability testen, testen de volledige user experience Het gaat met name om kwantitatieve metingen Nee, het gaat juist om het achterhalen van WAAROM er iets gebeurt See all 17 myths: http://www.uxmatters.com/mt/archives/2015/01/17- usability-testing-myths-and-misconceptions.php
- 14. userneeds @anous Gettingto empathy Akey function of usability testing
- 15. userneeds @anous Usability testing is about observing behaviour Watch the user do what comes naturally, while performing a task. Don't help. Not asking about opinion.
- 16. userneeds @anous Hardop denken Synchroon hardop denken je vraagt de testpersoon tijdens het uitvoeren van de taak hardop te denken Retrospectief hardop denken de testpersoon voert eerst de taak uit en licht deze achteraf toe door de opgenomen acties opnieuw te bekijken
- 17. userneeds @anous Usability Test traditional 1 round of testing In a lab environment, eye tracking Moderator is a UX’er, designer indirectly involved Process based
- 18. userneeds @anous Nadelen traditioneel Usablity test • Blijft vaak allleen bij aanbevelingen • Meestal geen hertest • Kosten en resources: beschikking over lab, eyetracking apparatuur en UX researcher • Lang van te voren inplannen (zeker 1 mnd) • Niet in werkelijke context van gebruik, kunstmatige omgeving
- 19. userneeds @anous Guerilla Usability Testing No testplan, just do it In the user context (on the street, in house,…) Designer, product owner involved Result based
- 20. userneeds @anous Nadelen Guerilla usability testing • Te ad hoc, geen plan, geen focus • Niet perse met de doelgroep • Vaak geen ervaren UX interviewers • Observatie wordt vaak onvoldoende vastgelegd waardoor de evaluatie en vertaalslag discutabel kan zijn • Vaak geen hertest
- 21. userneeds @anous Test and retest within 1 week In the users context, easy set up Designer conducts the test Value based User Checks Agile Usability Test
- 22. userneeds @anous Nadelen Agile Usability Test • Designer kan te betrokken zijn, te onervaren • Zware druk op verbeteren ontwerp binnen agile process (keeping in pace with development) • ‘high fidelity’ testing vraagt om hoge kwaliteit en snelheid van teams voor hertest, multi disciplinaire inzet: product owners, IxD, visual design en content
- 23. userneeds @anous What’s your focus? Do you aim for • One usability test, thoroughly, the result is scoped and used in the final design > Process first • Getting out of the building, seeing a or several people use your design and learn from that > Result first • Usability test often and iterate within each test, learning more each time, aiming for a better design > Value first
- 24. userneeds @anous Design new site ggdhaaglanden.nl User check with a doctor in his office GGD Haaglanden project Angi Studio: http://angistudio.com/cases/ggd-haaglanden.html
- 25. userneeds @anous Ik weet niet wat OGGZ betekent, Milieu en Gezondheid…is dit voor mij? Van GGD Haaglanden project Angi Studio: http://angistudio.com/cases/ggd-haaglanden.html Menu indeling: geen overzicht, inzicht, herkenning, focus… voldoet niet aan verwachting, weg wordt niet gevonden
- 26. userneeds @anous Natuurlijk, ook SOA en bezorgd over kinder-mishandeling… ja, belangrijk! Naar GGD Haaglanden project Angi Studio: http://angistudio.com/cases/ggd-haaglanden.html Wijzigingen op verschillende niveaus: wat waar onder valt, naamgeving, hiërarchie, toevoeging visuele cues (affordance), less is more…
- 27. userneeds @anous Herontwerp LINDA abonnement afnemen Tijdens de user check…brandoefening?!
- 28. userneeds @anous Bij Meiden verwacht ik 14 tot 21...oh, ik denk dat ik toch wel in die doelgroep val als ik het zo lees Bij de pop-up informatie LINDA.meiden Project van Angi Studio: http://angistudio.com Herontwerp LINDA abonnement afnemen
- 29. userneeds @anous “Zo onder elkaar is duidelijk, je kunt er zo doorheen” Sub home abonnementen met cadeau - mobiel Lange lijst om te scrollen vormde geen enkel probleem 2e ronde: de footer met next steps menu werd wel gebruikt Navigeren met hoofdmenu gebeurde 1e ronde niet Sticky menu bood ook geen oplossing… dead end Project van Angi Studio: http://angistudio.com/
- 30. userneeds @anous zooming in agile usability testing
- 31. userneeds @anous 2e ronde 1e ronde 1 Design en Testdoel 2 Gebruikers doelen 3 Taak scenario’s 4 Testen 5 Bevindingen Evalueren 6 Ontwerp verbeteren 7 Hertesten 8 Bevindingen Evalueren Opnieuw of Naar definitief ontwerp Agile usability test cycle in 1 week
- 32. userneeds @anous Focus van de test • Welke organisatiedoelstelling is key: Meer/of iets nieuws verkopen, service kosten verminderen, kennisdeling bevorderen, meer abonnees, self service… • High of low fidelity design, of de live site • Doelgroep: hoofd- en sub doelgroepen; eerste keer gebruik, terugkerend; met name mobiel… 1 Design en Testdoel
- 33. userneeds @anous Aantal respondenten Steve Krug zegt dat 3 testpersonen genoeg zijn, terwijl Jacob Nielsen het over 5 gebruikers heeft. Nielsen gaat ervan uit dat je met 5 testpersonen 75% van de problemen achterhaalt. Daarna zul je niet zoveel nieuwe problemen meer tegenkomen. Bij Agile usability testen, per ronde minimaal 2 en idealiter 4 gebruikers
- 34. userneeds @anous Met betrekking tot de focus Wat is het doel, de motivatie van de gebruiker • <Reis site> Een exclusief reisje voor de familie met de kerst, eentje die ze zich blijven herinneren • <Telefoonaanbieder site> Ik wil een aantrekkelijk telefoonabonnement waar ik niet te lang aan vast zit • <Bank site> Mijn kinderen verdienen een fijne toekomst en ik wil ze op weg helpen als ze op hun eigen benen gaan staan, is sparen of beleggen het beste 2 Gebruikers doelen
- 35. userneeds @anous Met betrekking tot het gebruikersdoel In welke realistische situatie, welke taak • Gebruikersdoel: De druilerige zondag doorkomen met mijn vrienden, naar een leuke film. • Taak: Het is zondagochtend en het regent, je hebt zin om naar de film te gaan met je vrienden vanmiddag en gaat meteen kijken. Kijk op <site> voor een film om met je vrienden naartoe te gaan vanmiddag. • Zeg niet: Gebruik <site> en zoek naar een film om naartoe te gaan vanmiddag. Vertel me waar je op geklikt hebt 3 Taak scenario’s
- 36. userneeds @anous Observeer en luister actief • Voorgesprek • Introductie: doel test en duur + opname toestemming Kort interview, wie heb je voor je • Taakopdracht(en) • Hardopdenk instructies, niet jij wordt getest Prototype uitleg Taak voorleggen/vertellen Taak hardop denkend laten uitvoeren, niet onderbreken • Evaluatie taak • Open vragen, pad doorlopen, verwachtingen checken en doorvragen • Afsluitende vragen, bedanken en evt. vergoeding of incentive geven. 4 Testen
- 37. userneeds @anous Testopstelling en rollen • 1 proefleider • 1 observator (2 of meer mag, maar kan de gebruiker te veel afleiden) • Testopstelling: proefleider en observator zitten schuin achter de respondent (kunnen meekijken op device en gezichtsuitdrukking zien) • Audio opname (via je telefoon) ter naslag • Wat ook kan, maar maakt het minder eenvoudig: Video opname apparatuur Evt. screen recording software: TechSmith’s Morae (PC only) of Silverback (Mac only)
- 38. userneeds @anous Actief luisteren & Vragen stellen
- 39. userneeds @anous Observeren en eigen houding 8% Inhoud 37% Intonatie 55% Houding Bron: Training Interviewtechnieken van de Rabobank
- 40. userneeds @anous Basishouding • Toon: warm, rustig, zachtjes, harmonieus • Houding: open, uitnodigend, naar voren gebogen, rustig aankijken • Sfeer: belangstellend, vertrouwd • Gedrag: vriendelijk, geïnteresseerd, betrokken, nieuwsgierig alles wat gebruiker zegt/doet is goed zelf geen oordeel hebben Bron: Training Interviewtechnieken van de Rabobank
- 41. userneeds @anous Test wenselijk gedrag doorbreken • Niets of heel weinig zeggen Waar denk je aan? Wil je blijven praten? • Niet hardop voor zichzelf, maar tegen jou als proefleider ‘Goed om te weten, maar wil je voor jezelf praten, niet tegen mij?’ • ‘Ik denk dat het voor de meeste mensen heel handig is’ Okay, maar hoe is het voor jou? Waarom?
- 42. userneeds @anous De kunst van de juiste vragen stellen op het juiste moment • Taakuitvoering eerst Niet interfereren, laten aanmodderen dus • Open evaluatievragen na de taakuitvoering Actief luisteren Luisteren, Samenvatten en Doorvragen • Evt. extra (open) vragen Wat verbeteren, Hoe benoemen, Aanbevelen?
- 43. userneeds @anous Standaardzinnen evaluatie “Als ik je goed begrijp zeg je…” “Kun je daar een voorbeeld van geven?” “Wat vind jij er zelf van? Wat zou jij graag willen?” “Wat verwacht je/ is voor jou het meest logisch?” “Wat zou jou het meest helpen (in jouw werkzaamheden)?” “Jij bent vast niet de enige die er zo over denkt…” “Hoe zou het beter kunnen?” “Wanneer ben jij tevreden?” “Wat vind je het belangrijkst?”
- 44. userneeds @anous Plenair evalueren5 Bevindingen Evalueren • Zet de plus- en knelpunten op rij, wat zijn de grootste issues (tav doelstellingen van de test)? • Maak een lijst met mogelijke verbeterpunten (volgorde is nog niet van belang)
- 45. userneeds @anous Wat verbeteren en hoe 6 Ontwerp verbeteren Per verbeterpunt • Prioriteer de Impact (tav test-/gebruikersdoel): 1 Lage impact 2 Gemiddelde impact 3 Hoge Impact • Maak een inschatting van de inzet van expertise, tijd en/of geld: 1 Kost veel moeite 2 Lastiger door te voeren 3 Eenvoudig door te voeren • Bepaal met de verantwoordelijke belanghebbenden wat verbeterd wordt voor de hertest en voer dat door > Hertest (7) en Evalueer de bevindingen (8)
- 46. userneeds @anous Hertest hypothese formuleren In de lean startup methode wordt elke validatiemoment via hypotheses getest. Dit kun je ook op ronde 2 toepassen: Op basis van de 1e user check ronde, denken we dat de UX verbetert door {een herindeling van..; toevoegen van persoonlijke artikelen; het toevoegen van testimonials; een subtielere manier van feed forward; beter contrast…} We hebben gelijk wanneer in de 2e ronde user checks {dit en dat gebeurt of juist niet gebeurt, gezegd wordt; gezien wordt; op geklikt wordt…} en daardoor {gebruikersdoel x} (beter) bereikt wordt.
- 47. userneeds @anous This is how we do it… Sitatieschets Anouschka gaat over 1 maand naar Oostenrijk op vakantie en realiseert zich dat haar rijbewijs dan niet meer geldig is. Ze wil snel haar rijbewijs verlengen en besluit dit direct te regelen. Ze gaat hiervoor naar de site van de gemeente Utrecht …
- 48. userneeds @anous short 10 min break
- 49. userneeds @anous Opsplitsen in 2 groepen Elke groep krijgt een eigen site toegewezen waar zij user checks mee gaan uitvoeren
- 51. userneeds @anous Group II UIE.com – User Interface Engineering
- 52. userneeds @anous Nu jullie, per groep Ronde 1 Voorbereiding samen - Bedenk de mogelijke organisatiedoelstellingen, kies er eentje voor de test - Welke doelgroepen hierbij met welke gebruikerdoel(en)? Kies… - Formuleer taakscenario(‘s): vanuit een werkelijke situatie, context van gebruik, actiegericht, in de taal van de gebruiker Voer een user check uit met het vastgestelde taakscenario (doe twee user checks achter elkaar, mits de tijd het toelaat) - Bedenk per keer: wie vervult welke rol en hoe wordt er geobserveerd, hoe vastgelegd - Vraag iemand uit de andere groep als respondent en voer de test uit - Na taakuitvoering, de ‘respondent’ gaat weer terug naar zijn groep Evalueer de test met elkaar, nadat beide user checks zijn geweest - Zet de bevindingen op geeltjes, wat zijn de grootste knelpunten (t.a.v. de gekozen test-/gebruikersdoel(en)) Om 12:30 uur LUNCH tot 13 uur
- 53. userneeds @anous De 2e ronde – na de lunch Brainstorm wat er verbeterd kan worden nav de belangrijkste knelpunten - Maak een lijst met mogelijke verbetervoorstellen (volgorde is nog niet van belang), max. 10 Per verbeterpunt Prioriteer de Impact (tav test-/gebruikersdoel): 1 Lage impact 2 Gemiddelde impact 3 Hoge Impact Maak een inschatting van de inzet van expertise, tijd en/of geld: 1 Kost veel moeite 2 Lastiger door te voeren 3 Eenvoudig door te voeren Voer voor vandaag iets door wat haalbaar is voor de workshop: in paper prototyping, in elkaar gehackt via prototype tool of anderszins. Formuleer het evt. in een hypothese Hertest 2x (voer opnieuw 2 user checks uit), telkens met een andere persoon uit de andere groep (zie ronde 1) Evalueer de test, in hoeverre heeft de verbeterslag gewerkt? Wat kan beter, waarom en hoe? > zet de conclusies op rij Om 15:20 uur: korte pauze 10 min
- 54. userneeds @anous Tot slot Presenteer per groep hoe het is gegaan Learnings wat neem jij mee? Afronding van de dag
- 55. userneeds @anous Wat neem jij mee van de workshop?
- 57. userneeds @anous Dank jullie wel! Image source: http://www.satukyrolainen.com/cartoons/ux-cartoons/
- 58. userneeds @anous Voorbeeld Voorstellen In spreekstijl Hallo, hoe is het met u? Fijn dat u tijd voor ons vrijmaakt! Mijn naam is Anouschka Scholten. Ik neem dit interview af en met mij is <naam collega> die het interview vastlegt. Ook hebben we <naam> meegenomen, hij werkt sinds kort bij ons en kijkt graag een keertje mee. Wij zijn van Userneeds en helpen <organisatie x> met het neerzetten van websites en in dit geval eigenlijk meer een webapplicatie. <Organisatie x> vindt het belangrijk dat de webapplicatie gemakkelijk werkt voor degenen die er mee aan de slag gaan. Daarom willen we u een aantal vragen stellen en u de eerste ontwerpschetsen voorleggen. Het interview neemt ongeveer een uur in beslag. Heeft u er bezwaar tegen als we de sessie opnemen ter naslag ? Alles wat we bespreken en opnemen wordt vertrouwelijk behandeld! Heeft u nog vragen?
- 59. userneeds @anous Voorbeeld instructies (1) Prototype instructie We testen een ontwerp en daarvoor maken we gebruik van een prototype. Het prototype presenteert webpagina’s zoals het moet gaan worden. Dit betekent dat niet alles klikbaar is of werkt en dat onderdelen niet ingevuld zijn. Schrik dus niet als er iets niet werkt, daar kunt u niets aan doen! <Na voorleggen van de situatieschets en opdracht> Hardopdenk instructie (formeel) Tijdens het uitvoeren van de taak wil ik u vragen om hardop te praten terwijl u bezig bent: probeer alles waar u aan denkt, hardop te verwoorden. Dus ook al denkt u tussendoor ‘ik moet niet vergeten nog boodschappen te doen’ ik wil het allemaal horen, niks is fout! Zegt u niets dan zal ik vragen waar u aan denkt.U praat niet tegen mij, maar voor uzelf en ik zal dus ook geen antwoord geven. Hardopdenk instructie (minder formeel) Ga uw gang en… Als u zo de site doorloopt, wilt u proberen hardop te zeggen wat u denkt? Niet tegen mij, maar voor uzelf? Niets is fout, alles is goed, bijv. ook ’wat is dit nou weer?!’
- 60. userneeds @anous Voorbeeld Testsessie agenda en instructies (2) Onderdeel Duur in minuten 1 Introductie en interview vooraf 10 2 Taakopdrachten (hardopdenkend) + evaluatie per taak 30 3 Overall evaluatie/vragen 10 4 Afsluiting Agenda per testsessie Elke respondent doorloopt één testsessie van driekwartier tot maximaal een uur. Een sessie bestaat uit de volgende onderdelen: Introductie en interview vooraf (20 min.) • Welkom, koffie/thee/water • Korte achtergrondschets geven van de doelstellingen van de test (organisatie vindt het belangrijk dat datgene wat wordt ontwikkeld ook te gebruiken is en gewaardeerd wordt…. etc.). Benadrukken: niet de persoon wordt getest maar het ontwerp, hij/zij hoeft zich niet druk te maken over wat anderen ervan vinden, we zijn geïnteresseerd in haar/zijn/ervaringen. • Uitleg over hoe lang het ongeveer duurt en wat de respondent te wachten staat (agenda). • Gegevens worden vertrouwelijk behandeld. • Toestemming vragen om opname.
- 61. userneeds @anous Voorbeeld Vragen vooraf Persoon & Context 1. Wat is uw leeftijd (voor zover onbekend). 2. Hoe ziet uw (werk)dag er uit? (doorvragen om te achterhalen wat focus heeft/wat niet en hoe, om aan te sluiten bij de taak zo dadelijk) 3. Zit u vaak op internet, waar gebruikt u het zoal voor: e-mailen, sites bekijken, bankzaken regelen? (Ervaringsvraag) 4. Gebruikt u internet ook op uw mobiel? Zo ja, welk type/wanneer/waarvoor/ hoe vaak? En op een tablet? Zo ja, welk type/wanneer/waarvoor/ hoe vaak? 5. Wat maakt dat u met een glimlach op staat (om te gaan werken, dat u er echt zin in heeft)? 6. Waar ligt u wel eens wakker van, vindt u minder makkelijk (in uw werk)?
- 62. userneeds @anous Voorbeeld Afronding sessie Voorbeeld overall vragen • Mist u iets? Zou u zo aan de slag kunnen denkt u? Waarom wel/niet? Wat heeft u nog nodig? • Hoe zou het beter kunnen vindt u? Waarom? • Als u de website zoals u deze heeft gezien, zou omschrijven in 3 woorden, welke woorden zou u dan noemen? (Bijv. standaard, spannend, warm, saai,…Waarom per woord, in welke mate). Afronding Hartelijk dank voor uw medewerking! Hoe heeft u het interview ervaren? Bent u evt. bereid nogmaals deel te nemen aan een interview? Vindt u het goed als we een fotootje van u nemen voor het verslag dat alleen aan de betrokken projectleden wordt getoond? Uw foto wordt absoluut niet zonder uw toestemming verspreid!
- 63. userneeds @anous toetje… the usability test of fruit