Start > Metody > Testowanie i ewaluacja > Testy z udziałem użytkowników

Testy z udziałem użytkowników

Testowanie produktu (prototypu) przez użytkowników jest skuteczną metodą wykrywania problemów z użytecznością systemu.

 

Nic lepiej nie przekonuje projektantów do zmian, niż widok użytkowników zmagających się z trudnościami w obsłudze systemu. Testowanie systemu z udziałem użytkowników pozwala stwierdzić, co użytkownikom utrudnia pracę oraz określić, w jakich obszarach najbardziej konieczne są zmiany i udoskonalenia w sposobie obsługi produktu.

 

Aby testy z udziałem użytkowników (zwane także testami użyteczności, ang. user testing, usability testing) były efektywne, należy zorganizować je w przemyślany sposób i w odpowiednich warunkach - chociaż niekoniecznie w profesjonalnym laboratorium.

 

Korzyści

Podczas testów użyteczności:

  • zostają zwykle wykryte wszystkie najistotniejsze problemy w obsłudze systemu, doświadczane przez reprezentatywną grupę użytkowników,
  • można dokonywać pomiarów np. czasów ukończenia zadań, częstości i rodzaju popełnianych błędów, jak i określać wskaźniki opisujące główne miary użyteczności: produktywność, efektywność i poziom satysfakcji użytkowników odnośnie testowanych produktów (prototypów, systemów).

Praktyka potwierdza, że dane pochodzące od grupy reprezentatywnych użytkowników mają zwykle większą wartość niż dane z innych źródeł.

 

Metoda

Testowanie użyteczności polega zasadniczo na tym, że użytkownicy zaproszeni do udziału w badaniach wykonują z pomocą systemu typowe zadania robocze. Badanie odbywa się w ściśle zaplanowany sposób pod kontrolą prowadzących badanie, a przebieg pracy użytkowników jest zwykle rejestrowany na wideo.

 

Prowadzący badanie sporządzają raport, podający przede wszystkim listę zaobserwowanych problemów z użytecznością systemu oraz zakres zalecanych zmian dotyczących interfejsu użytkownika.

 

Testy prowadzi się często w specjalistycznym laboratorium, gdzie praca użytkowników z systemem jest rejestrowana na wideo, a sytuacje kończące się błędem można łatwo prześledzić wstecz, aż do ustalenia przyczyn - spowodowanych na ogół błędami w projekcie interfejsu użytkownika.

 

Nie mając dostępu do laboratorium, w najprostszych warunkach udany test użyteczności można przeprowadzić w zwykłym pomieszczeniu, analizując zachowania użytkownika podczas wykonywania typowych zadań roboczych z pomocą systemu (Jakob Nielsen określa to terminem discount usability).

 

W każdym przypadku celem badania jest stwierdzenie, w jakim stopniu przyczyną błędów popełnianych przez użytkownika są niedoskonałości interfejsu użytkownika i co należy zrobić, aby polepszyć łatwość obsługi, użyteczność i funkcjonalność systemu.

 

Laboratorium

Typowe laboratorium do badań użyteczności (ang. usability lab) składa się zwykle z kilku stanowisk komputerowych dla użytkowników oraz - zwykle w przyległym pomieszczeniu - aparatury rejestrującej przebieg pracy użytkowników z badanym systemem.

 

Rozkład dwóch typowych laboratoriów przedstawiają poniższe rysunki:

Aparatura rejestrująca składa się z kamery wideo oraz niekiedy z urządzeń dodatkowych (magnetowid, komputer, mikser wideo).

 

Wykonane nagranie wideo przedstawia przebieg pracy użytkownika z systemem, przy czym ekran jest dzielony na część pokazującą pracę rąk na klawiaturze lub z myszką, i część pokazującą kolejne zmiany wywołane na ekranie.

 

Niekiedy stosuje się dodatkową kamerę, która nagrywa mimikę oraz mowę ciała użytkownika, które sugestywnie wyrażają odczucia związane z zadaniami wykonywanymi z pomocą systemu.

 

Ważną częścią testów użyteczności jest odtworzenie użytkownikowi wykonanego nagrania wideo oraz zebranie od niego wyjaśnień, komentarzy i uwag związanych z wykonywanymi zadaniami, doświadczanymi trudnościami i próbami ich pokonania. Komentarze zebrane odnośnie obejrzanego nagrania pozwalają powiązać intencje użytkownika z uzyskanymi wynikami oraz wyjaśnić przyczyny popełnianych podczas pracy błędów.

 

Do wykonania najprostszych testów użyteczności wystarczy amatorska kamera wideo: o wartości uzyskanych wyników decydują przede wszystkim informacje pozyskane od użytkownika i sposób przeprowadzenia testu, a zwłaszcza dobór odpowiednich zadań roboczych.

 

Właściwie dobrane zadania testowe powinny:

  • być typowe dla pracy z danym systemem,
  • być ułożone kolejno od najłatwiejszego do najtrudniejszego (aczkolwiek niektórzy zalecają, aby również ostatnie zadanie było względnie łatwe),
  • dotyczyć tych obszarów użyteczności systemu, z którymi wiążą się określone problemy projektowe do rozwiązania,
  • być ułożone tak, aby całe badanie z udziałem użytkownika nie trwało dłużej niż 1,5 godziny.

W opisach zadań dla użytkownika powinien być podany cel zadania jako postać wyniku, który należy osiągnąć, ewentualnie z podaniem kolejnych kroków - ale nie powinny być szczegółowo podane operacje, które należy wykonać (np. „co kliknąć").

 

Pod koniec badania, po ukończeniu zadań testowych, użytkownicy często proszeni są o wypełnienie kwestionariusza, w którym oceniają różne aspekty dopiero co doświadczonej łatwości obsługi systemu.

 

Niekiedy przeprowadza się dodatkowo wywiad z użytkownikami, podczas którego przekazują oni swoje odczucia dotyczące wrażeń z pracy z systemem (prototypem) i propozycje ewentualnych zmian.

 

 

Organizacja sesji testowej:

1. Ustalenie zakresu testów:
  • określenie celu badania: porównanie z innymi systemami czy też rozwiązanie konkretnych problemów projektowych,
  • ustalenie możliwości dostępu do laboratorium i aparatury,
  • określenie możliwości pozyskania użytkowników do testu i zapewnienia ich reprezentatywności,ustalenie zakresu zadań testowych do planowanego badania,
  • ustalenie pomiarów i obserwacji do wykonania podczas badania,
  • ustalenie sposobu rejestracji przebiegu badania,
  • ustalenie formy wyników końcowych (raport, prezentacja).
2. Przygotowanie badania:
  • pozyskanie reprezentatywnych użytkowników do udziału w sesjach testowych,opracowanie zestawu zadań testowych,
  • ustalenie katalogu pomiarów do wykonania podczas testów, oraz sposobu zebrania i rejestracji danych,zaprojektowanie kwestionariuszy do wypełnienia przez użytkowników po zakończeniu badań testowych,
  • przygotowanie stanowisk badawczych dla użytkowników, opracowanie sposobu rejestracji przebiegu pracy użytkowników z systemem,
  • przygotowanie aparatury do rejestracji wideo i formularzy do ręcznej rejestracji danych,opracowanie sposobu obliczania wyników z testu i formy prezentacji graficznej głównych ustaleń,
  • wykonanie testu pilotażowego celem zweryfikowania czasów wykonywania zadań testowych, sprawdzenia procedur obliczeniowych oraz technik rejestracyjnych.

3. Realizacja badań

  • powitanie uczestników, poinformowanie o celach badania i zasadach pracy podczas testu,
  • wykonywanie zadań testowych,
  • rejestracja wideo z pomiarami czasu i zliczaniem błędów,zakończenie zadań testowych,
  • wypełnienie kwestionariusza oceny systemu,
  • zakończenie badania,
  • wypłacenie gratyfikacji uczestnikom badania.
4. Analiza danych i opracowanie wyników
  • analiza dokonanego nagrania wideo z udziałem użytkownika,
  • kategoryzacja zarejestrowanych błędów użytkownika,
  • obliczenia: analiza czasów ukończenia zadań testowych, analiza zadań niedokończonych, obliczenia statystyczne,
  • przygotowanie wykresów,zastosowanie innych technik graficznych prezentujących miejsca i przyczyny występowania problemów,
  • analiza zgodności opinii uczestników badania z zebranych kwestionariuszy (lub wywiadów),
  • uzupełnienie wyników ocenami eksperckimi.

5. Opracowanie raportu z badania

Struktura przykładowego raportu z badań użyteczności:

  • opis produktu, charakterystyka badanych użytkowników,
  • opis kryteriów oceny,
  • opis metody badania i metody obliczenia ocen,
  • opis zastosowanych technik rejestracji,
  • wyznaczenie ocen cząstkowych dla poszczególnych kryteriów,
  • zestawienie zebranych ocen i wyznaczenie oceny końcowej,
  • ocena opisowa wykrytych problemów,
  • ranking problemów do korekty,
  • czynniki dyskomfortu użytkownika,
  • słabe i mocne strony produktu, uwagi końcowe, zalecenia.

Można tutaj posłużyć się szablonem raportu z badań użyteczności CIF Link prowadzi na zewnątrz tego serwisu (Common Industry Format for Usability Test Reports). Do raportu należy dołączyć wykonane nagrania wideo (lub najważniejsze jego fragmenty).

 

Uwagi realizacyjne

  • przed badaniem należy przypomnieć użytkownikom, że ocenie podlega system, a nie uczestnicy badania,
  • aparatura rejestracyjna (zwłaszcza kamera wideo) powinna być tak zainstalowana, aby jak najmniej absorbowała uwagę uczestników badania,
  • prowadzący mogą udzielać pomocy uczestnikom badania dopiero wtedy, gdy wszystkie inne dostępne formy (podręcznik, system pomocy online itp.) okażą się nieskuteczne,
  • niekiedy badanie rozpoczyna się od wykonania serii zadań próbnych, które są przydatne dla oswojenia się z systemem i sprawdzenia aparatury rejestrującej,
  • w planowaniu procedur obliczeniowych należy uwzględnić to, że rozrzut czasów ukończenia zadań rzędu 1:10 pomiędzy poszczególnymi użytkownikami jest typowy, jak i to, że nie wszyscy użytkownicy ukończą komplet przygotowanych zadań,
  • należy obowiązkowo odnotować problem z użytecznością systemu, gdy wystąpi jedna z poniższych sytuacji:
    • użytkownik określił cel działania, ale mimo wysiłków nie posuwa się w jego kierunku i wskutek czego nie będzie w stanie osiągnąć go w zadanym czasie (konieczna jest pomoc prowadzącego),
    • użytkownik określił cel działania i musi wypróbować kilka podejść aby znaleźć rozwiązanie, gdyż system nie sugeruje jak zacząć ani nie podpowiada kolejnych kroków,
    • użytkownik określił cel działania, bezskutecznie próbuje kilku podejść, po czym rezygnuje z wykonywania zadania,uczestnik nie zmieścił się w zadanym czasie lub nie ukończył zadania (wynik zadania jest inny niż wymagany),
    • uczestnik wyraża zdziwienie zachowaniem się systemu, wyraża negatywną opinię, stwierdza ze coś stanowi problem lub zgłasza propozycję zmian w ocenianym systemie,
  • kwestionariusz do wypełnienia po części zadaniowej powinien być jak najprostszy i nie dłuższy niż dwie strony A4,
  • zwyczajowo uczestnicy badania otrzymują gratyfikacje w postaci gotówki, bonów do księgarni lub drobnych upominków.

Podsumowanie

  • Pisemny raport z wynikami badań powinien być adresowany do kierownika projektu, natomiast dla zespołu projektowego należy przeprowadzić prezentację głównych ustaleń z dyskusją i omówieniem zakresu proponowanych ulepszeń.
  • Regularne testy użyteczności z udziałem docelowych użytkowników są podstawową metodą doskonalenia jakości produktów interaktywnych i powinny mieć swoje stałe miejsce w procedurach zarządzania jakością.
  • Dla uzyskania wartościowych wyników z testów użyteczności kluczowe jest metodyczne podejście, a nie wartość posiadanej aparatury czy dostęp do profesjonalnego laboratorium.

= = = =

Marcin Sikorski, 2008

Start > Metody > Testowanie i ewaluacja > Testy z udziałem użytkowników