软件测试的艺术(第3版)第07章可用性(用户体验)测试课件.pptx

1、大家好大家好1p7.1 可用性测试的概念p7.2 可用性测试的基本要素p7.3 可用性测试过程p7.4 可用性测试注意事项p7.5 小结第7章 可用性（用户体验）测试27.1 可用性测试的概念37.1 可用性测试的概念简单的一句话即可概括：观察用户使用产品的情况。观察用户使用产品的情况。 通过观察有代表性的用户，完成产品的典型任务，而界定出可用性问题，并解决这些问题，目的是让产品用起来更容易。47.1 可用性测试的概念p研发完成了新的产品功能或是创造了新的产品特性之后，总是有这样的疑问：n 最新的版本是不是比以前的版本更好？n 我们的产品与竞争对手的产品使用起来一样容易吗？n 用户是否能够按照

2、我们设计的流程完成他们所要完成的工作？n 我们的设计师是否按照用户的操作习惯和产品的特性设计排版了？57.1 可用性测试的概念可用性测试评价指标可用性测试评价指标效能效能用户完成特定任务和达到特定目标时所具有的正确和完整程度效率效率用户完成任务的正确和完整程度与所使用资源（如时间）之间的比率满意度满意度用户在使用产品过程中所感受到的主观满意和接受程度67.1 可用性测试的概念形成性测试形成性测试 在产品或网站的开发过程中进行 用来发现设计的可用性问题例子：在应用中，用户能否找到和使 用“按揭计算器”按钮，来顺 利输入贷款贴息呢？总结性测试总结性测试 在开发后期进行 用来确认某个产品已经实现预期

3、的目标例子：新的应用有没有按预期的比 率提高了转化率？7p用户可用性测试的测试点可以从以下方面来考虑：n1.是否每一个用户交互设计都考虑到最终用户的理解力、教育背景以及环境压力？n2.程序的输出是否有意义、没有侮辱性的词语，以及是否含糊不清？7.2 可用性测试的基本要素8n 3.用来错误诊断的提示信息（error message）是直白易懂，还是需要计算机博士才可以读懂？比如，程序有没有输出这样的报错信息：“IEK022A OPEN ERROR ON FILE SYSIN ABEND CODE=102“。在20世纪七八十年代，程序输出这样的报错信息到处可见。今天大众化的软件系统在这一方面做得比

4、以前强多了，但是用户还是会碰到没有任何帮助价值的错误提示信息，诸如“发生了一个未知错误”或“程序发生错误需要重新启动”。 若是你自己设计程序，则应该避免输出这类没有意义的错误信息。即使程序不是你设计的，作为程序的测试人员，也应该帮助改进这些人机交互的地方。7.2 可用性测试的基本要素9n4.用户界面上是否保持概念的一致、内部的连贯性、语法的一致性？是否符合约定的使用习惯、语义和句法规律、格式、样式以及缩写习惯？n5.需要高精确性和准确度的软件系统是否提供了足够有效的输入验证？以网上银行系统为例，登录时应该要求提供账户号码、账户名以及PIN码（个人识别密码），以用来检测用户的合法性。7.2 可用

5、性测试的基本要素10n6.系统是不是包含了选项，或者包含的一些选项不会使用？基于软件测试的设计和考虑，现在软件的一个发展趋势就是只提供这些最常用功能的菜单项。于是一个设计良好的软件能够从用户的使用行为得到启发，设计出用户经常使用的一些功能的菜单选项。即使拥有这样智能的菜单系统，成功的软件设计还必须考虑如何使得软件的功能更符合人的思维逻辑和直觉。7.2 可用性测试的基本要素11n7.对于来自用户的输入，系统是否能够及时做出反应？比如，当用户单击鼠标时，选中操作生效需要耗费一些时间（访问远程系统的时候通常都这样），则需要显示一些信息，告知用户需要等待。有时也称这样的测试为组件测试，用以组件交互以及

6、用户反馈、做出合理的选择。7.2 可用性测试的基本要素12n8.程序的操作是否很容易上手？如是否有效提示用户需要输入大小写敏感的文本（例如：常见的密码输入）？再如，一项创新如果设计一连串的菜单和选项操作，它能轻松返回到主界面（例如：常见的游戏菜单选项都有一个主菜单）用户是否能够轻易返回上一级或者下一级？7.2 可用性测试的基本要素13n9.软件的设计是否有助于用户准确输入？通过分析用户在输入数据或者操作软件时遇到的错误，测试可以统计出哪些属于可以被用户订正的错误，而哪些会导致软件异常。n10.用户的操作可以轻松重复？换一句话说，你的软件是否能够让用户学会更好地使用该系统？7.2 可用性测试的基

7、本要素14n11.用户是否确定那个在众多的功能和菜单中来回切换而不发生意外？对软件主观的评价可能会导致用户是否会继续选择使用该软件。使用结束时的输出结果会让用户担心还是满意？用户会推荐给其他人使用该软件，还是仅仅自己用就算了？n12.软件的功能实现是否达到了设计规格要求？最终可用性测试需要包含一项软件规格说明书与产品实际使用情况所做的评估。从用户的角度来看，在实际使用环境中软件的表现是否真的不负众望？7.2 可用性测试的基本要素15p可用性或基于用户的测试基本上属于黑盒测试的范畴。如果由于软件设计不够优美、交互界面繁琐难用、规格缺失或被忽视等原因，而导致用户感觉该软件未能按照规格正常操作，这就

8、等于宣判这一项目开发失败。p用户可用性测试应该从功能缺陷到不符合人机工程学的设计失误来揭示软件设计存在的问题。7.2 可用性测试的基本要素167.3 可用性测试的过程1. 项目启动会2. 招募被试 3. 创建测试大纲4. 准备测试设备和角色安排 5. 进行测试6. 数据分析 7. 将测试结果排序并提出建议 8. 结果呈现以极简电视可用性测试为例以极简电视可用性测试为例17获得问题的背景，识别可用性问题：获得问题的背景，识别可用性问题：用户更喜欢哪种操作界面？ XX电视界面评测用户使用飞梭是不是提高了操作效率？ XX遥控器可用性测试在Android系统下，用户是更喜欢海信还是TCL？ XX与XX

9、产品比较测试各功能模块是否好用？ XX电视可用性测试1. 1. 项目启动会项目启动会2. 招募被试 3. 创建测试大纲4. 准备测试设备和角色安排 5. 进行测试6. 数据分析 7. 将测试结果排序并提出建议 8. 结果呈现7.3 可用性测试的过程18测试5名用户 -找到85的缺陷改进设计再次测试5名用户 -找到85的缺陷改进设计再次测试5名用户 -找到85的缺陷1. 项目启动会2. 2. 招募被试招募被试 3. 创建测试大纲4. 准备测试设备和角色安排 5. 进行测试6. 数据分析 7. 将测试结果排序并提出建议 8. 结果呈现7.3 可用性测试的过程19找什么样的用户来？找什么样的用户来？

10、避免过度关注人口统计学数据！避免过度关注人口统计学数据！Step 1: Step 1: 从描述开始：从描述开始： 尝试描述你想要什么样的用户来参与测试； 该产品的目标用户是哪些？Step 2Step 2：优先关注产品使用经验和行为：优先关注产品使用经验和行为 与该产品相关的经验，例如：相关的知识技能水平， 相关产品的相关经验，例如手机，游戏机；用户的网络使用经验，例如：上网频率，网络应用等；用户的电视使用经验：7.3 可用性测试的过程1. 项目启动会2. 2. 招募被试招募被试 3. 创建测试大纲4. 准备测试设备和角色安排 5. 进行测试6. 数据分析 7. 将测试结果排序并提出建议 8.

11、结果呈现20样本量样本量样本条件样本条件u年龄25-45岁，性别不限； u使用触屏智能手机（安卓系统尤佳）；u思维活跃，善于表达；u非敏感职业者（软件、硬件工程师），财务、行政、前台等尤佳；u对网络依赖度高，平均每天下班后累计上网时间不低于1个小时（通过pc或手机、平板电脑上网）；u经常使用手机、平板电脑观看视频、电影电视剧或通过usb下载到电脑上观看。分类分类外部用户外部用户内部用户内部用户总计总计计划计划4人5人9人7.3 可用性测试的过程21选择选择角色筛选调查（问卷筛选）招募渠道招募渠道内部员工招募代理机构鼓励机制鼓励机制外部项目提供礼品或现金内部项目提供小礼品或免费食品被试安排被试安

12、排时段候补被试7.3 可用性测试的过程1. 项目启动会2. 2. 招募被试招募被试 3. 创建测试大纲4. 准备测试设备和角色安排 5. 进行测试6. 数据分析 7. 将测试结果排序并提出建议 8. 结果呈现22编号编号用户分类用户分类姓名姓名性别性别年龄年龄职业职业手机手机体验时间体验时间联系方式联系方式P0预测试女24用户体验实习生Android2月10日1551616P1外部用户外部用户女24华为人力资源Android2月11日1582027P2女25电子厂职员iphone1500930P3女33建筑公司职员Android2月12日1597066P4男41IT技术人员Android130

13、8918P5内部用户内部用户男29R&D产业政策研究室Android2月13日1596032P6女26R&D人力资源部iphone1862415P7男25OBC人力资源部iphone2月14日1357296P8女23R&D财务部Android13568277.3 可用性测试的过程23l 测试大纲测试大纲测试目的介绍保密协议测试情景操作评分表（主试打分）问卷（被试评分）结束性提问对被试进行简要小结l 工具工具记录工具（写字板，笔记本、录音、录像、软件）任务卡片手表l 如果需要，平衡不同设计或产品的展示顺序如果需要，平衡不同设计或产品的展示顺序l 记住要做预测试记住要做预测试7.3 可用性测试的过

14、程1. 项目启动会2. 招募被试 3. 3. 创建测试大纲创建测试大纲4. 准备测试设备和角色安排 5. 进行测试6. 数据分析 7. 将测试结果排序并提出建议 8. 结果呈现24测试情景应为支持可用性问题而设计测试情景应为支持可用性问题而设计u 是一个简单的故事般的场景u 要求被试执行一个任务u 使用用户的术语u 任务是清晰明确的u 不提供操作任务的步骤 “你和家人下个月想去夏威夷旅游。找到最便宜的机票并利用这个信息（递给用户信息卡片）订票。” “一个客户打来电话告诉你他搬家了。他叫李平。请用这个系统更改他的地址。” “去点击图片，输入海洋，然后找到海洋的图片”。 “在淘宝的美容板块买一些东

15、西。”7.3 可用性测试的过程1. 项目启动会2. 招募被试 3. 3. 创建测试大纲创建测试大纲4. 准备测试设备和角色安排 5. 进行测试6. 数据分析 7. 将测试结果排序并提出建议 8. 结果呈现25被试：被试：l 实际的或潜在的用户l 并非设计者或开发者主持者：主持者：l 从计划、实施到报告，监督整个测试过程观察者：观察者：l 记录发生的事件l 不与被试互动l 协助测试报告撰写7.3 可用性测试的过程1. 项目启动会2. 招募被试 3. 创建测试大纲4. 4. 准备测试设备和准备测试设备和角色安排角色安排 5. 进行测试6. 数据分析 7. 将测试结果排序并提出建议 8. 结果呈现2

16、6哈哈，又到了周末了，可以肆无忌惮的看电视咯。情景设计情景设计任务流程任务流程7.3 可用性测试的过程1. 项目启动会2. 招募被试 3. 创建测试大纲4. 准备测试设备和角色5. 5. 进行测试进行测试6. 数据分析 7. 将测试结果排序并提出建议 8. 结果呈现27欢迎欢迎提问提问观光观光自我介绍解释测试的目的和时间向用户强调测试的对象是产品而不是用户请用户尽量出声思维告知测试会录音录像，但结果完全保密签署保密协议职业上网情况产品（关联产品）使用情况平时的产品偏好请用户随意浏览，但不要操作测试前测试前5min7.3 可用性测试的过程28用户执行任务用户执行任务问题探讨问题探讨宣读任务不要以

17、任何方式表现出用户正在犯错误或操作太慢仔细地观察，并认真聆听用户的建议识别用户的情绪，必要的时候选择停止任务用户遇到困难时尽量不要提供帮助，可给予适当鼓励在用户完成一个场景时可适当的问“为什么刚才这样操作”，但尽量简单询问哪些在过程中想深入询问但没有询问的问题询问在观察的同事关心的问题测试中测试中3050min7.3 可用性测试的过程29测试后测试后1h道别道别准备下一场测试准备下一场测试组织大家整理记录组织大家整理记录感谢用户给用户报酬将用户送出门口保存录像文件清楚记录，或准备产品7.3 可用性测试的过程307.3 可用性测试的过程31l 用户能执行要求的任务么？l 期望的信息有没有找到？l

18、 用户找到有效的途径了么？l 他们理解自己正在做的事情吗？l 他们碰到了什么问题？ 术语 不知道接下来要去哪里做什么 没有找到他们要找的东西l他们能从错误中恢复吗？测试中观察倾听和试探l 仔细地倾听被试 如，表示意外的感叹词“哎呀”是一个很重要的数据。l 注意任何犹豫不决的情况l 探寻以获得深层次动机l 提醒他们把所想的说出来（有声思维）（有声思维）l 提防暗示性的问题 如，你会如何关闭一个文件？（问题透漏了答案），应该说“这个文档已经处理完了，现在你会做什么？”7.3 可用性测试的过程1. 项目启动会2. 招募被试 3. 创建测试大纲4. 准备测试设备和角色5. 5. 进行测试进行测试6.

19、数据分析 7. 将测试结果排序并提出建议 8. 结果呈现32客观：客观：1. 参加者完成任务所需的时间2. 对于某一任务，能正确完成任务的参加者个数3. 参加者完成任务时所犯错误的次数 4. 试验员提供提示的次数5. 参加者完成任务时不得不借助外界协助的次数6. 参加者是否使用了最佳的完成任务的方法7. 参加者使用用户手册或联机帮助的次数主观：主观：1. 参加者表示感到迷茫的次数2. 参加者的注意力被转移而不能集中在真正的任务上的次数3. 情景后问卷调查的分数4. 参加者对产品的观感、判断及评价5. 比较两个或几个系统时，每个参加者的喜好7.3 可用性测试的过程1. 项目启动会2. 招募被试

20、3. 创建测试大纲4. 准备测试设备和角色5. 进行测试6. 6. 数据分析数据分析 7. 将测试结果排序并提出建议 8. 结果呈现331.完成笔记2.总结测试结果3.汇总和将数据列表4.分析发现5.按问题严重性级别排列6.生成建议7.生成最终文档或演示7.3 可用性测试的过程1. 项目启动会2. 招募被试 3. 创建测试大纲4. 准备测试设备和角色5. 进行测试6. 数据分析 7. 7. 将测试结果排序将测试结果排序并提出建议并提出建议 8. 结果呈现34用户第一反应按下键翻页用户第一反应按下键翻页正确翻页方式太费时正确翻页方式太费时在遥控上增加一个在遥控上增加一个“翻页键翻页键”；在每页右

21、上角设计在每页右上角设计“上一页、下上一页、下一页一页”。按照用户的习惯上下翻页按照用户的习惯上下翻页留白让用户以为只有这么多留白让用户以为只有这么多在空白处贴一张电视剧海报在空白处贴一张电视剧海报“1/24页页”提示太不明显提示太不明显页面提示再醒目一点页面提示再醒目一点7.3 可用性测试的过程1. 项目启动会2. 招募被试 3. 创建测试大纲4. 准备测试设备和角色5. 进行测试6. 数据分析 7. 将测试结果排序并提出建议 8. 8. 结果呈现结果呈现35p 测试前需要跟用户说明本次测试持续的时间；p 要求用户尽可能的进行发声思维发声思维（对他看到的、想做的以及怎么想的）；p 与用户说明

22、“我们要测试的是网站，并不是用户”；p 不要问用户“为什么”；p 在测试过程中用户提的关于如何使用的问题，不能立刻回答，可以在测试完成之后做回答；我们要测试的是用户在没有人帮忙的情况下将如何完成任务的；p 在用户不能完成任务的情况下，切换到下一个任务，本次任务做不能完成处理；p 说明本次测试屏幕、声音将被录制，并且得到用户许可；录制的内容将被作为网站改进的依据，不会被该项目无关的人员看到。7.4 可用性测试注意事项36测试前测试前 1.项目计划书 2.测试脚本 3.问卷 4.被试安排表 5.测试任务卡片 6.记录表 7.保密协议 8.请勿打扰测试中测试中9. 数据收集 （定量和定性）10. 照

23、片、录音、 录像测试后测试后11. 小结撰写12. 报告撰写13. 礼物收单7.5 小结37n 机器的配合n 产品的改进p 针对需求方针对需求方p 针对测试者针对测试者n 每天小结n 规范的建立n 学习（讨论，看书）7.5 小结38 参加者编号 ： 了解你所参与的试验了解你所参与的试验目的目的你现在所参与的产品试验的目的是为了帮助我们测试我们的产品是否简单、易学、好用。这个产品试验研究的目的是研究你将要用到的产品，我们不是在测试你，或是你的能力。试验收集的数据试验收集的数据试验的观察人员将记录你是怎样使用本产品的，例如，本产品的某一部分是否简单易用。在实验中你需要回答一些问卷调查，在试验后还有

24、一个口头调查。在试验中你提供的信息，再加上其他参加者的信息，将帮助我们找出改进产品设计的方法。同意和弃权声明同意和弃权声明你使用本产品和口头调查的过程将被录像和录音。在这个同意书上签名表示你同意我们公司在评估和演示产品时可以使用你的声音、讲话和录制的图像。但我们将不会使用你的名字。舒适舒适如果需要，你在试验的任何时候都可以要求暂停，你只需要告诉试验员你要求暂停就可以了。保密保密在试验中你所得到的任何关于产品的信息都是保密的，并归公司所有。你在试验中得到的信息仅仅是为了试验的目的，在这个同意书上签字表明你同意保守秘密，不将产品的信息泄露。退出试验的自由退出试验的自由你参加本试验完全出于自愿，你可

25、以在任何时候退出试验。如果你同意以上的条款，请在下面签字。 签字： 日期： 7.5 小结39情景后问卷调查请根据您刚刚完成的任务回答以下问题，圈画你认为最能表达你感受的答案。如果某一个问题对你不适用，请圈画不适用。总体来说，我对完成任务的容易程度感到满意 1-2-3-4-5-6-7非常不同意 非常同意 不适用总体来说，我对完成任务所需的时间感到满意 1-2-3-4-5-6-7非常不同意 非常同意 不适用总体来说，在完成任务时，我对辅助信息感到满意（例如，联机帮助，信息，用户手册等） 1-2-3-4-5-6-7非常不同意 非常同意 不适用7.5 小结40序号序号基本原则基本原则详解详解1可视性原

26、则系统需要在合理的反应时间内，通过恰当的反馈，让用户指定现在的状态；2不要脱离现实系统应该以用户熟悉的语言来“说话”，以自然和符合逻辑的常规方式呈现信息；3用户有自由控制权出错时，用户不需要做多余的动作而直接有紧急出口；允许撤销和重复（动作）；4一致性原则减少在不同环境中因词语、结构、形式等的不同而导致用户不必思考和错误，坚持沿用系统管理；5有预防用户出错的措施尽量通过设计避免用户误操作；6再认而不是再现尽量让用户选择而不是回忆；7灵活且高效帮助用户提供使用效率，这些方式可能不会被新手使用，但对老手却非常有用；（为新手和专家设计定制化的操作方式，快捷操作可调整。）8美观简洁（易读性）尽量减少页面中无关信息，或者尽可能降低无关信息的视觉层级，以使用户集中精力于重要的信息；9明确的错误信息给用户明确的错误信息，并协助用户方便的从错误中恢复工作；10帮助与说明无需文档就能流畅应用当然更好，一般地文档很必要，而且也提供便利的检索功能，面向用户任务描述，列出具体实现步骤，并且不要太冗长。7.5 小结41