My works About UT Report 2004 (draft)
0 likes368 views
本使用性測试旨在评估 Benq P30 智能手机的用户界面设计是否符合使用者的期望，发现了用户任务执行中的困难以及改进建议。测试结果显示，受测者在操作复杂功能时面临较高的错误率和完成率低的问题，尤其对新用户的友好性不足。报告总结了不同受测者的经验差异和功能设计中的问题，以提供后续设计优化的方向。
My works About UT Report 2004 (draft)
- 1. BenQ P30 Usability Test By Ruby Kuo 2004/8/27
- 2. Index Aim of This Test & Report 1 Key Findings 2-3 Background 3 Introduction 3-8 Participants …………………………………………………………………………. 4-5 Methods & Tools …………………………………………………………………… 5-6 Test Goals & Tasks …………………………………………………………………. 6-8 Results 8-14 使用性測試結果彙整分析 ………………………………………………………... 8-9 受測者 （情境別）計時統計分析 ……………………………………………..... 9-10 受測者 （任務別）完成度統計分析 …………………………………………..... 10-11 受測者 （任務別）執行錯誤率統計分析 ……………………………………..... 11-12 受測者 （任務別）自我評比統計分析 ……………………………………......... 12 受測者自我報告 – 個人常用手機功能統計分析 …………………………......... 12-13 受測者自我報告 – 對 P30 之介面使用性與整體滿意度統計分析 …………… 13-14 Discussing 14-24 Findings & Suggestions …………………………….……………………………. 15-21 Design Models VS. User Conceptual models ……………………………………. 21-24 Appendix 附件一 受測者招募說明信與調查表 .…………………………………………… 25-26 附件二 受測者各任務執行 計時統計表 ……………………………….………. 26-28 附件三 各情境任務完成度統計表 ……………….……………………………… 28-29 附件四 各情境任務錯誤率統計表 ……………….……………………………… 30-31 附件五 各情境任務難度- 受測者評比統計表 .………………………………… 31-32 附件六 受測者自我報告- 常用手機功能統計表 .……………………………… 33 附件七 受測者自我報告- P30 介面滿意度統計調查表 ………………………… 34 附件八 受測者自我報告- P30 整體滿意度統計調查表 ………………………… 34-35 附件九 Heuristic Evaluation ……………….……………………………………… 35-37
- 3. Aim of This Test & Report 自 User Center Design 的重要觀念於 HCI 領域揭櫫以降，Usability Test 一直被視為是可 以客觀、科學而且有效率來提供設計者大量有價值的參考資訊之重要評估方式。本使用 性測試，即希望透過這樣的方式來瞭解 BenQ P30 這款智慧型手機的設計，尤其是在 UI 介面上是否可以符合使用者的期望與需要，並藉此發掘其設計不當或需要改進之處，並 經由測試分析的結果，提供具體有效得修改建議。 另 Usability Test 一般都是被設計用來量化 User 在使用該產品的表現、行為與滿意度， 且大多在實驗室中進行。雖然測試過程中所安排的任務都經過審慎的規劃，以基於測試 目的、產品特性以及使用者的需要來設計，力求可以反映實際使用情況為宗旨。但為了 顧及測試上的成本與效益，在受測者的招募上往往還是有所篩選，以本測試為例，所選 定的受測對象都鎖定在有相關產品使用經驗，如 PDA 或其他品牌的 Smart Phone 為主， 故也造成實驗結果無法顧及一般無相關經驗的 Novice User 可能發生的其他情況。 為充分發揮這份測試報告的適用性與將來可以進行其他比較性測試，故本報告內容，將 從使用性的目標擬定、測試任務設計、受測者招募以及採用的研究方法與設備到測試的 執行、流程與結果的統計分析作完整的呈現。 Key Findings 整體而言，本次的使用性測試中，六個受測者除了個人本身的使用經驗所產生一些差異 外，大家在任務執行過程中發生的困難與面臨的疑惑都大致相同，這也同時反應出 Nielson（1994）在相關研究中所指出的使用性測試分析上，大約透過 5 個人就可以發掘 歸納出 75%問題的結論。 但另一方面，就像過去許多類似的行動電話使用性測試研究發現一樣，只要是使用頻率 高的功能，通常使用者都可以很輕易的立即上手，而不常用的功能，往往也會增加任務 執行的難度，因為必須花費大量的時間去逐一尋找完成該項任務所需的功能。換句話 -1-
- 4. 說：對於目前越來越複雜的多功能手機或智慧型手機來說，如何透過良好的介面設計， 幫助使用者導覽或很快找到自己所需的功能，並減輕其認知負荷或記憶負擔，將更形重 要。從這次的使用性測試結果，至少可以歸納出以下發現，作為 P30 手機將來在介面設 計上面可以繼續努力改進的方向參考。 • 個人的使用經驗差異會影響任務執行 • 擁有 Smart Phone 使用經驗者在任務執行的表現較佳 • 而 P30 手機操作門檻確實較高，即使有 PDA 使用經驗者在上手時仍顯不足 • P30 手機可能因受限於其複雜的功能與系統限制，無法完全配合一般人的心智模 式來進行設計 另外，針對錯誤率較高或完成率較低的任務進行進一步的分析，可以發現其原因除了上 述與受測者的使用經驗有關外，大致是由以下因素所造成： 1. 介面的設計沒有善用侷限性，引導使用者逐步完成所需任務 2. 介面圖示沒有發揮隱喻作用，同時缺乏文字訊息的協助 3. 介面功能的名稱語意不清或容易造成混淆 4. 介面一致性不足 5. 功能群組的歸屬不當 6. 功能設計時疏忽使用者的心智模式考慮 7. 控制台中的相關設定採取群組的方式，以致造成有些功能因為深度太 深，無法透過瀏覽的方式發現，也無形中增加使用者的心智負荷。 -2-
- 5. 任務順序與腳本內容的修正，其最後完成的測試情境任務架構如下: 情境一 1 安裝 SIM 卡及電池 您剛買了這支新的手機 2 開機 3 設定時間日期 4 輸入聯絡人資料與群組設定 情境二 5 手寫輸入簡訊內容 您想要通知朋友您的新電話 6 傳一般簡訊 7 打電話 8 設行事曆(約會) 情境三 9 調高音量 隔天下午，當您走在街上時，您的電話突然 10 通話中輸入小新電話 響起 11 更新小明的資料 12 設定快速撥號 情境四 13 相機自拍功能 星期六，一個人到星巴客享受寧靜的午後片 14 編輯圖片功能 刻 15 傳送多媒體訊息 情境五 16 設背景圖片 手機的個人化設定。 17 改變主題 18 鈴聲的選擇與變更 情境六 19 攝影 看電影。 20 播放 21 手機改震動 22 查看未接來電 23 聽留言 24 鈴聲調大 情境七 25 設定鬧鐘 休息。 26 設定周期性提醒 27 鬧齡的選擇設定與震動功能 情境八 28 去電顯示 設定與擴充 29 安裝擴充記憶卡 30 搬移檔案至記憶卡 31 設定捷徑 情境九 32 聽 MP3 聽 MP3 33 最小化功能 34 代辦事項設定與提醒 情境十 35 使用計算機 朋友聚餐，開心的聊天 36 使用藍芽傳輸接收檔案 37 指定某聯絡人的來電大頭貼與專屬鈴聲 -7-
- 6. 下表即以這樣的資料分析原則，逐一詳列比較重要且具問題代表性的 21 項任務，分別 說明與討論。而除卻如手寫輸入辨識能力、系統效能（如開機太慢）、硬體外觀（如手 機按鍵的觸控不舒適、觸控筆太細）或者缺乏聲音調整鈕、攝影效果不夠理想等較難克 服的問題外 並同時根據本使用性測試的發現參照 HCI 的相關研究或理論提出各任務可 ， 能的改善建議，以求達到更符合 User Center Design 使用性設計目標的產品。 Findings & Suggestions 達 優 任務別 成 錯誤率 Source of error suggestion 序 率 2 開機 83 低 - 缺乏獨立的開機鈕設計，必須 - 在被用來作為結 中 % （66%） 仰賴使用者過去的相關使用經 束通話 Key 的按鈕 中 驗 上提供開機提示 （17%） - 採用結束通話 Key 作為開機 的圖示或文字，以 高 鈕，雖與大部分日規手機功能 避免沒有類似開 （17%） 相近，但卻缺乏相對的識別符 機經驗的使用 號提示 者，不知道從何開 - 手機正面螢幕上方的快速上網 機的問題。 按鈕，未提供識別符號，容易 - 在螢幕畫面上方 造成混淆，而誤視為開機鈕 的快速上網鍵增 - 使用者雖然嘗試長按束通話 加圖示說明以便 Key 開機，但仍會因為開機時 區隔，避免被誤認 間過長，或手機反應較慢，造 為開機鈕的機率。 成受測者疑惑 3 設定時 66 低 - 如果是從狀態列的時鐘進入， - 在時間設定中，除 高 間日期 % （83%） 必須直接點選時鐘與日曆的相 了目前可以點選 高 關內容來進行時間或日期的調 時鐘圖案進行設 （17%） 整 定外，可以增加一 - 日期的設定是以一個月曆的形 個設定功能進入 27 鬧鈴的 100 低 式來進行，所以有時會發生調 調整畫面，或者以 選擇與設 % （66%） 整了日期卻忘記修改月份的情 不同底色形成如 定 高 況發生 同文字框的方式 （34%） - 手寫輸入的浮動式面版會干擾 來提示使用者可 注意力、或遮住完成確認鈕， 以直接點選該日 造成雖進行修改但並未被儲存 期與時間顯示區 的情況 域進行設定修改。 - 另外下方的鬧鈴 設定區，建議可以 在上面加註鬧鈴 設定字樣，以增加 使用者操作上的 便利。 4 輸入聯 50 中 - 觸控筆太細太短，不易掌控， - 改進辨識率，如多 高 絡人資料 % （50%） 長時間書寫不適 字辨識 與群組設 高 - 手寫輸入的辨識率與速度不佳 - 手寫輸入的浮動 定 （50%） - 必須配合系統的文字辨識進度 面版上所提供的 - 15 -
- 7. User Conceptual Model 嘗試失敗，重新選擇其他功能 或直接點選通訊錄 - 尋找該設定 點選小明資料 編輯 - 點選各種可 主畫面 通訊錄 能的小圖示 - 甚至長按 2 號鍵盤進行 控制台 通話設定 設定 或尋找其他可能功能 電話 撥號畫面 但不認為該畫面可以 進行設定快速撥號 繼續尋找其他可能功能 設定桌布（背景圖片） Design Model 控制台 裝置設定 情境模式 變更外觀 指定背景圖 - 23 -
- 8. User Conceptual Model 嘗試失敗，或不能為是該項功能，而重新選擇其他功能 Photo - 尋找可能的 主畫面 Base 開啟圖片 設定功能 - 例如傳送 尋找其他可能功能 例如螢幕保護 控制台 一般設定 歡迎畫面 裝置設定 螢幕保護 情境模式 變更主題 變更外觀 指定背景圖 - 24 -