My Secret Rainbow

测试产品用户体验的7个步骤

我们在评估产品时，通常会参考一些数据或用户调研得到反馈。那么有没有一个更加系统和客观的评估方法，能够帮助我们评估产品呢，比如：

1.定期追踪产品或服务的整体表现和进展

2.与早期版本、竞争对手、行业基准或利益相关者所决定的目标相比较

3.评估你用户体验设计工作的价值

本文介绍的评估体系能够帮助设计师综合评价产品的表现，或者帮助设计团队用可测量的方法记录设计项目的进度。这个评估体系通常是一整套的流程，而不是一次性的测试。

因此可以把它应用在一个设计周期的末尾或下一个周期之前。许多公司在连续发布产品新版本的同时也会反复收集对应的数据。

流程概述

在首次搭建评估体系的时候，我们需要用到7个步骤。一旦你完成了最初的体系制定，这套流程就能被反复应用在日后的产品更新中，所需的工作量也会大大减少。

一个完整的用户体验评估流程包含上图的这些步骤：

1.首先你要确定测量的是什么内容和指标
2.以及需要使用哪种研究方法来收集指标对应的数据；
3.收集你的初始指标数据
4.并重新设计产品
5.最后收集更新后的指标数据
6.对比和解析调查结果
7.计算投资回报率（ROI）

制定完这个初始流程之后，后续的产品迭代评估（假设评估环境保持不变）就可以从第四步（重新设计产品）开始。

第一步：选择要测量的内容

选择测量的内容，意思就是要筛选和确定产品中关键的指标，这些指标最好是能够反映你的用户体验质量。

评估环境

先确定你的评估环境，然后才能决定你要收集什么。你可以从以下几个方向考虑你的评估环境：

• 你要关注的产品和平台是什么？（网站、应用程序等）
• 你的目标用户群体是怎么样的？
• 你希望测量的特定任务或功能有哪些？

任务

找出用户在产品中需要完成的核心任务。如果你的公司没有现成的核心任务，你可以先开始汇总产品中的（高频）任务。然后对这些任务进行优先排序，并选出对用户而言最重要的5-10个功能。

下表列出了多种产品和对应的任务范例。这里面的每个产品只包含了一项任务，但在实际运用中，你往往会需要关注多项任务：

指标

现在你已经找到一系列的任务，你又该如何衡量它们呢？Google的HEART框架能指导你筛选出你可能需要收集和追踪的指标。下面是对HEART框架的改编列表

要评估参与度是否高，那么完成任务的时间应该很长（例如，在报纸网站上阅读文章的时间很长），而作为效率指标，完成任务的时间应该很短（例如，在电商网站上快速结账）。换句话说，同样的变量（比如更长的时间）可能是好的，也可能是坏的，这取决于你需要测量的维度是什么。

你需要筛选出长期有效的测量指标，因为在理想情况下，你需要在未来几年里反复收集这些测量指标。以2-4个指标为目标，关注用户体验的不同维度（例如，幸福感和参与度）。

我们根据前文的产品任务跟踪列表，列出了一些可能的指标：

对用户体验进行基准评估不仅仅只是追踪数据，也是展示工作价值的一种方法。当你选择与公司的业绩指标（KPI）相对应的指标时，这就直观得多了。例如，在以减少客服成本为KPI的银行业务中，你可以通过对比重新设计前后的客服呼叫数量，来证明重新设计之后的联系人更改界面有助于减少客服成本。

第二步：决定如何测量

在考虑收集指标数据的方法时，你必须考虑这些方法所需的时间、预算、所涉及的研究人员能力、以及研究工具。如果你没有正确的方法，就不要做这件事，因为糟糕的数据，比没有数据更糟糕。此外，不要制定一个成本太高而无法长期维持的测量计划（因为基准评估的核心就是一遍又一遍地测量）。

在计划新的评估活动之前，先看看你的公司有什么现有的数据是你想要测量的。充分了解这一环节，并将用户体验指标与更宏观的公司商业目标联系起来，这是很有价值的。当你从其他来源获取数据时，一定要知道为什么需要以及如何使用。

对于用户体验评估，有3种有效的测量方法：定量的可用性测试、系统数据分析和用户调研。

• 定量的可用性测试。参与者会被要求执行产品中最主要的任务，研究人员则负责记录用户在这些任务中的表现（例如任务完成时间，成功率，以及满意度等）。
• 系统数据分析。自动收集系统已有的使用数据（例如放弃率和功能采纳率）。
• 用户调研。由用户来回答问题，反馈他们的行为、背景或建议。常见的指标有：任务轻松度、满意度评分、净推荐值等。

理想情况下，你可以将调研（用户自己评价的指标）与行为、观察（定量可用性测试或分析）结合起来，进而得到一个全面的用户体验反馈。

在下面的表格中，我们根据前面提出的产品环境制定了一些对应的测量方法：

第三步：收集初始数据：建立基准线

现在，你已经确定了要收集哪些指标以及如何收集这些指标，接着就是确定这些指标的判断标准。也就是把初步收集回来的数据作为产品体验的基准。

不要着急——先做试验，收集初步的样本数据，然后做初步的分析，确保你的收集方法是正确的，看看这些数据是否能够回答你的问题。这种小规模的实验会让你更高效的修正方法，但可能会需要你放弃一些原始数据。但是，为了保证在日后更大范围的数据收集工作中得到可靠的结果，这一环节是值得做的。

在你收集第一组测量数据时，记得要考虑可能影响你数据的外部因素，并在允许的情况下对此进行规划。例如，假设你在设计一个电商网站，使用数据分析的方法来收集销售指标时，要小心和排除那些可能干扰指标的因素，如由于大范围的营销活动或大规模的经济影响而作出更改的设计。

一开始产品的单一测量指标本身可能没有什么意义，因为你手上没有什么数据可以进行横向比较。但这个时候你仍然可以与竞争对手、行业标杆或者利益相关者所制定的目标进行比较。

下面我们提供几个对比的思路：

• 你的竞品数据。假设在设计一个智能扬声器App，我们可以参考竞品的制定你的基准指标，然后再相应地从自己的产品系统中收集数据。需要注意的是，如果你不能访问竞品的系统数据，就不要将系统数据分析作为你的数据方法。
• 行业标杆。你可以参考与你的领域相关的外部统计信息。例如，如果你在设计一个酒店网站，你可能想要将你的净推荐值（NPS）与这个行业的平均NPS进行比较（酒店行业的NPS为13%）
• 说他们想要一个平均提交时间少于3分钟的潜在客户表单，那你就需要将你当前的表单性能与目标值相比较。

至于该如何对比和解析这些结果，请参考第六步的建议。

第四步：重新设计产品

设计迭代版本的详细过程不在本文的讨论范围之内，但它很重要：没有重新设计，你就无法比较产品的多个版本。在重新设计产品时，请牢记交互设计的10个可用启发式原则。

第五步：收集改版后的指标数据

在新设计发布后，再次收集数据衡量。这里没有严格规定要等多久才能重新测评新设计的用户体验。如果你在做的是追踪分析，持续测量会更有好处。然而，对于那些基于具体任务的数据收集，比如定量的可用性测试和调查，你需要确定收集数据所需的合适时间。

普遍的用户不喜欢变化，所以在测量之前，给他们一些时间来适应新设计的功能。时间的长短取决于用户访问你的产品的频率。对于每天使用的产品，2-3周的适应时间就足够了。对于一个用户每周只访问一次或两次的产品，最好在调查前留4-5周的适应时间。

考虑评估新设计适当时机的时候，记得再留意一下任何可能影响结果的潜在外部因素（参考第三步）。

第六步：分析调查结果

这个时候你已经收集了至少两套数据，是时候分析你的结果了。注意你不能用表面价值来衡量你的指标，因为你的研究样本可能远远小于你实际的用户总数。所以，你需要使用统计学方法，以确定数据中任何可见的差异是真实存在的，或是随机干扰造成的。

一般来说，解读基准指标的方式，与你的产品环境、以及你选择的指标高度相关。比如，开支报告App的任务时间与手机游戏的任务时间是不同的。接下来，我们将概述前面讨论过的测量环境，以及对研究结果的解读。

测量环境：添加和设置智能扬声器

假设我们已经结合了可用性测试和用户调研来收集任务时间、成功率和SEQ。下表是我们初始设计和重新设计的指标数据汇总：

结果表明：任务完成时间基本一致的情况下，成功率和SEQ平均值都提高了。假设我们已经排除了这两个指标在统计上的显著差异。那总的来说，在新设计中，用户更加满意，更容易成功完成任务。因此新设计的版本改进是有效的！

第七步：计算ROI（可选）

通过基准评估，你可以追踪你的设计绩效和展示你工作的价值。一种展示价值的思路是将用户体验指标与公司的商业目标联系起来，然后计算投资回报率（ROI）。计算的时候可以把体验指标对应到公司的KPI，如利润、成本、员工生产力或客户满意度等。设计师学习如何计算ROI是很有帮助的，这让你可以更有力地说明用户体验对产品的影响。

关于如何为设计项目计算ROI可以参考这篇文章：https://www.nngroup.com/articles/calculating-roi-design-projects/

展示基准评估的结果

最后，在分析完结果并与利益相关者分享你的收获时，你的目的是要通过这些数据来讲述一个故事。有些领导会喜欢看到定量的数字，但这并不意味着你不能将一些定性的研究数据与你的结果相结合，来帮助听众对你的用户产生共鸣。

此外，在向利益相关者介绍时，一定要记录下所有的假设和可能混淆的变量。虽然你可能不需要直接对这些内容进行解释，但你如果能在报告附录中加上这些内容，可以显示出你对产品环境的全面理解。同时，当你遇到任何与测量有效性相关的问题时，你可以很方便地引用这些内容。

结语

基准评估是一个很强大的工具，它可以把用户体验工作与整个公司的商业目标联系起来。这里再次总结一下整个流程：要进行基准评估，首先要关注产品中的重要任务或特性，并确定如何测量它们；接下来，选择一种合适的测量方法，允许你在有限的时间、预算和技能的情况下收集这些指标数据；收集你的第一套数据作为基准指标，重新设计产品，然后用同样的方法收集新的数据；最后，通过比较收集到的指标数据，使用产品和商业知识来解析你的结果。
希望你的数据（或者在下一个版本发布后）会变得更好，反之，你也会知道你应该把注意力放在后续版本的哪些方面了。

以上就是本次对体验设计评估体系搭建的经验总结拉，你认真看完了吗？

原文：https://www.nngroup.com/articles/product-ux-benchmarks/