如何衡量和验证UE设计的效果
前段时间在项目复盘会上，业务方向设计团队提出一个值得深思的问题。
如何衡量和验证设计的效果？
我认为这是一个很好的问题，之前我在与其他设计师朋友交流时，也尝试请教过他们这个问题：你是如何衡量和验证你的设计效果的？
我得到了五花八门的答案，有的人拿业务数据来说话，有的人用客户反馈来答复，有的人则坦言需要靠老板来进行评估。
也许这些答案在各自的环境和场景下都具备一定的合理性，但因为他们的场景并没有与我当前的业务场景契合，所以他们的方法无法为我所用。
于是我开始思考究竟怎样的衡量和验证方法，能够应用在我当前的业务场景内。绝大多数设计岗位存在的意义是为了达成目标或解决问题。那如何判断设计目标或问题是通过我的设计方案来解决的，解决方案好不好？设计的价值又是如何被量化的？是否有客观的评价方式？
相信很多人会回答我，可以通过数据来进行量化。的确可以通过数据来进行设计价值量化，但新的问题也来了：
- 在方案设计之前，我如何知道需要监测哪些数据来辅助验证设计效果？
- 在拿到数据之后，我又该怎样通过数据来判断我设计的效果究竟是好还是坏？
带着问题，我查阅了一些资料，参考了Google产品团队定义的UX指标，发现数据指标可以通过用户体验质量和产品目标两步来确定。
用户体验质量简单来说即你想要观测设计的哪些维度的效果。
产品目标则是基于你想要观测的这些方面，按照「目标 → 标志 → 指标」的顺序确定数据指标。
结合这种方法来制定数据指标，思路会更加清晰明了，总体过程会呈现出这样一个矩阵。
PART 01 – 用户体验质量
表格左列代表着待考量的用户体验质量维度，他们通常分为如下五类：
1、情感
用于衡量用户使用产品时的态度和感受，例如用户对本次功能的满意程度、用户对操作流程感知的易用性程度等。
1.1 功能满意度
（满意人数-贬损人数）/总测试人数
举例说明
满意人数指打9-10分的人；贬损人数指打0-6分的人数。如果一个产品的满意人数有70人，贬损人数有30人，那么满意度为（70-30）/100=40%
数据用途
功能满意度用以测算用户对当前产品或功能的满意程度。
1.2 Feedback问题占比
通过反馈平台收集的相关活动、功能或界面的问题反馈数/总反馈数
举例说明
在某任务上线一周后收到的3000条反馈中，有800名用户反馈新的界面不会操作或不好用，那么说明占比26%的反馈人群对本次设计存在不满意点。
数据用途
Feedback问题占比用以直观评估用户操作过程中的感受，多数以主观感受反馈为主，需要结合进一步调研来确定问题发生在哪里，以便于进一步的优化。
2、参与
用于衡量用户对新产品或新功能的参与度，例如每位用户每周对新功能的访问次数或每位用户每天在产品内花费的时长。
如下罗列的指标类型能够用于衡量设计在场景转化中发挥的作用。
2.1 活跃用户数
一段时间内访问的已登录用户数，通常分为日活（DAU）和月活（MAU）。一个用户一天通过相同的渠道多次访问产品，DAU仍只算一个；在一月内多次访问产品，MAU仍只算一个。
举例说明
10月15日上线新功能或新活动，一共有300万个登录用户访问了平台（包含通过其他渠道链接进入），则10月15日当天的DAU为300万（去重）；截至11月15日共有1800万个登录用户访问了平台，则该30天的MAU为1800万（去重）。
数据用途
活跃用户数用于衡量产品对用户的粘性。方便产品和设计人员了解产品的每日用户情况，了解产品的用户变化趋势。
2.2 页面访问次数（PV）和人数（UV）
PV=运营活动/页面/功能曝光在用户视野内的次数。
UV= 运营活动/页面/功能曝光在视野内的用户数，一个终端只算一个UV。
举例说明
用户进入首页，则只算一次访问次数，用户刷新页面/退出重进时访问次数累加。
用户进入首页，则只算一个展现UV，退出重新进来UV不累计。一个用户在00:00-24:00内多次进入首页，则UV只算一个。
数据用途
页面访问次数（PV）用于判断该活动/页面/功能被用户查看的次数；页面访问人数（UV）用于判断有多少个用户查看过该活动/页面/功能。
这两个指标能够用于衡量页面入口的设计是否足够引人注目。
2.3 点击次数和人数
点击次数=点击行为发生的次数（不去重）
点击人数=有点击行为的用户数（去重）
举例说明
10月15日有400万人访问首页，其中10万人点击首页中的某按钮，则该按钮的点击人数为10万；10万人点击了12万次，则点击次数为12万。
数据用途
点击人数和点击次数用于了解用户的使用行为，用于辅助判断PV/UV点击率和人均点击次数3处数据。
2.4 PV点击率和UV点击率
PV点击率=点击次数/页面访问次数（PV）
UV点击率=点击人数/页面访问人数（UV）
举例说明
100个用户访问了首页，其中只有10个用户点击了首页上的筛选项，但是每人平均点击了5次，那么UV点击率为10%，但PV点击率为50%，说明筛选内容并不是对所有用户都合适，但对那些多次点击的部分用户而言，会觉得筛选的内容很符合他们的需求。
如果100个人都点击了，那么UV点击率为100%，说明筛选内容对所有用户都比较适合。
数据用途
PV点击率和UV点击率用于衡量页面或功能中的内容对用户的吸引程度。
2.5 人均点击次数
点击次数/点击人数。
举例说明
例如10月16这天有10万人点击了筛选按钮，其中一共点击了12万次，那么人均点击次数为12/10=1.2次。
数据用途
通过人均点击次数可以判断交互/视觉的设计要求是否足够引人注目，也可以用于衡量该功能对用户而言是否为强需求。
2.6 平均停留时长
所有用户的停留时长总和/用户数。
举例说明
所有用户在某任务页的停留时长为100万小时，一共在某任务页停留的用户有200万，则平均停留时长为0.5小时。
数据用途
平均停留时长用来衡量页面吸引度，对内容页来说，停留时间越长，用户粘性越强。当然也有反面场景，比如登录注册的表单填写， 停留时间越长，说明体验越差。
2.7 人均使用时长
用户平均每天停留在产品的时间。
举例说明
10月16日有100万个用户一共在某产品使用了50万个小时，则10月16日的人均使用时长为0.5个小时。
数据用途
用来衡量用户使用产品的深度，判断用户使用产品的粘性和依赖度。用户对产品的使用时长越高，说明对产品越依赖。
3、接纳
用于衡量上线产品或功能的新用户增长程度。例如功能上线后最近7天创建的帐户数或使用该功能的新用户占比。这对于新产品功能或正在重新设计的产品特别有用。
3.1 新用户留存数
一段时间内再次访问的新用户数，通常分为次日留存、7天留存、30天留存指标。
举例说明
如下虚拟数据，1月，新增用户有80人。到2月时，1月新增的80人中的75人再度访问了产品，则第二个月的新用户留存数为75人，流失数为5人。
数据用途
用来衡量产品的用户粘性和产品的留存用户规模。留存用户数可以很好地展示留存用户数的人数规模，并帮助了解新增用户对产品的使用粘性。
3.2 新用户留存率
某周期内新用户留存数/某周期内第一天访问的新增用户总数，一般周期为次日、7日或者30日。
举例说明
接3.1案例，1月新增用户80人，2月留存人数75人，1月新增用户在2月的留存率为75/80=93.75%。
数据用途
- 日留存率通常用来衡量产品粘性；
- 周留存率通常用于判断产生的忠实用户数；
- 月留存率通常用于衡量版本迭代的效果，例如产品改版后，月留存率提升了，且其他变量没有变化时，说明设计改版成功。
- 通过留存率可以很宏观的判断产品的用户粘性是上升还是下降，这也是产品体验最直观的数据。
3.3 新用户流失率
某周期内新用户流失数/某周期内第一天访问的新增用户总数，一般周期为次日、7日或者30日。
举例说明
接3.1和3.2案例，1月新增用户80人，1月新增用户在2月的留存率为75/80=93.75%，新用户流失率为（100-93.75）%=6.25%。
数据用途
用户流失率可用于追踪之前是什么情况导致流失数据情况，便于进一步优化产品问题。
4、保留
用于衡量上线产品或功能的老用户稳定程度，具体包含现有用户的留存率和流失率。例如在上线7天内产生的活跃用户在上线30天后是否仍然在活跃？
4.1 老用户留存数
一段时间内再次访问的老用户数，通常分为次日留存、7天留存、30天留存指标。
4.2 老用户留存率
某周期内老用户留存数/某周期内老用户总数，一般周期为次日、7日或者30日。
4.3 老用户流失率
某周期内老用户流失数/某周期内老用户总数，一般周期为次日、7日或者30日。
5. 完成
用于衡量流程设计的合理性，通常适用于产品中非常注重任务的区域。例如某任务的完成率和UV转化率。
5.1 完成率
完成的操作次数/开始操作的次数
举例说明
10月15日上线某任务，用户点击领取任务按钮10万次，最终完成提交按钮2万次，则完成率为 2/10= 20%
数据用途
完成率可用于衡量操作流程的顺畅度。完成率是产品设计中重要的指标之一，完成率越高，说明产品的操作体验越好。
5.2 UV转化率
必要流程中的下一步环节操作人数/上一步环节操作人数。通常环节越多，UV转化率越低，流失率越高。
举例说明
10月15日上线某任务，当日从任务入口点击进入该任务页的人数为1万人，点击Yes/No选项的人数为7000人，那么该环节的转化率为7000/10000=70%，流失率为30%；最终点击Submit按钮完成提交的人数为4000人，那么该环节的转化率为4000/7000=57%，流失率为43%。
数据用途
UV转化率可用于针对产品中某些关键路径的转化率的分析，以确定各环节的优劣、是否存在优化的空间等。对于业务流程相对规范、周期较长、环节较多的流程分析,能够直观地发现和说明问题所在。
5.3 页面跳出率
退出当前页并在30分钟内未再次打开的用户数/在当前页面的总人数
举例说明
用户通过首页进入某任务页，然后跳出并在30分钟内未再次打开的用户有1万人，假设进入该任务页的UV为5万人，则跳出率 1/5 =20%
数据用途
页面跳出率用于衡量页面的内容质量或交互质量。
PART 02 — 产品目标
表格横向代表从业务维度的思路梳理：
1. 目标
简单说就是，你希望设计上线后，在哪个方面达到什么样的结果。比如产品首页内的筛选功能，在完成指标的关键目标是：用户更快速地找到最相关的任务。
2. 标志
目标确定了，那什么信号标志着设计达到了或没达到目标呢？
比如某页面在完成指标的成功标志是用户筛选后找到了自己想要的任务并进入了任务界面。失败标志是用户筛选后没有找到自己想要的任务，在筛选环节流失了。
能判断是否达到目标的标志可能有很多，这时候要结合实际情况取舍。比如这种标志追踪起来方便吗？它能随你的设计变动而观察到明显的变化吗？
3. 指标
指标比标志更加落地。例如，「用户筛选后找到了自己想要的任务并进入了任务界面」这一标志用指标来体现就是「从筛选按钮到任务界面的UV转化率」。
通过「目标 → 标志 → 指标」流程，结合用户体验质量指标，就能清楚地知道要验证设计的哪些方面，需要关注哪些数据来达到目的。
PART 03 — 提防数据陷阱
1. 寻找正确的数据目标
有一位作家打算重新设计他的个人网站，用来宣传他将要写的新书。
在设计网站时他做了个 AB两个方案。A 方案在网页上非常详细地介绍了将要写的这本书，然后留了一个可填写联系方式的输入框；B 方案则没有任何关于书的介绍，仅放置了一个可填写联系方式的输入框，并只写了「如果你是设计师，你应该对这本书感兴趣。请填写你的联系方式」一段提示。
最终A 方案只收到了 33 个联系方式，而没有任何介绍性内容的 B 方案却收到了 77 个联系方式。
那么，从这个实验结果可以推断出 B 方案更好吗？
事实上可能并不是。
这位设计师设计网站的初衷是为了宣传预售他的新书，衡量完成指标的标志是「有多少人对这本书感兴趣且可能会购买它」而不是「收到更多联系方式」，而联系方式数量的数据无法成为「有多少人对这本书感兴趣且可能会购买它」的成功标志，因此「B 方案比 A 方案更好」的结论也并不成立。
因此希望大家用以上表格来整理数据目标，就是为了避免从一开始搞错了目标，那么再精确的数据统计也只能得到误导性的结论。
2. 理解业务的数据价值
我们会发现一个有趣的现象，当我们在谈论一家公司或一个产品是否够成功时，基本是基于单一的数字，比如某APP有2亿日活，它很棒；某平台有3000万产量，它很厉害等等。
和那些盲目喊着要扩大用户数和规模的产品不一样，对解题产品来说，有人在真正花时间解答题目，才是一件意义重大的事情，因此相对单纯的生产数量数据，它更应该关注生产员或质检员的产出质量。假如解题产品的日均产量很高，但用户在任务界面上平均停留时长很短，那么我认为并不觉得这是一件值得高兴的事，因为生产和质检的结果可能会有很多问题。
我之前常常在想一个问题，为什么有些公司内部会如此热衷于推广OKR用以取代KPI，直到进入头条后我才发现原本KPI 式的价值观常常给人带来误区：数字即规模，规模就是一切。但我们可以看到，许多产品因用户数量的骤增曾备受瞩目，用各种运营手段在前期积累了出大量注册用户，但最终大批量流失，走向没落。数字很重要，用户数也很重要，但相比这些，我们更应该通过思路梳理，来帮助我们想清楚对于我们的产品来说核心价值是什么、究竟什么样的数据才是最重要的。
3. 数据不是万能的
数据不是万能的。它就像问卷调查、用户访谈等任何用户体验研究方法一样有着其局限性。数据只能告诉你 What，却不能告诉你 Why。
Data can only make a good design great, but can never make a bad design good.
数据可以用于支撑设计师的某项决定，但数据无法代替设计的直觉，更无法代替深入的用户研究、可用性测试和设计同理心。
参考文献：
[1] 如何理解 DAU 和 MAU 这两个数据？- Aaron余乐的回答 – 知乎
https://www.zhihu.com/question/24007425/answer/130382392
[2] 数据分析｜计算用户留存率 – 狗哥的文章 – 知乎
https://zhuanlan.zhihu.com/p/123292172
[3]Google HEART模型：助力设计成果评估，提升用户体验 – 人人都是产品经理
http://www.woshipm.com/user-research/1726864.html
原文：https://mp.weixin.qq.com/s/INJ2k6LVehMpsLwIZc7oQQ
既然来了，说些什么？