体验的度量
前言
“让出行更美好”一直是滴滴的初心和目标，作为体验设计团队也一直在利用手机的方寸之间去践行着。然而，我们的努力是否真的为用户带来了更好的体验？带来了多大的改变？如何衡量这种改变，并有的放矢的去进一步优化？我们为此做了一系列探索。
1、有针对性、差异性、扩展性的体验监测
滴滴走到今天，围绕乘客其实已经做过许许多多的满意度、NPS等研究，观测维度丰富而全面，但随之而来也存在一个问题：常规NPS观测囊括了乘客用车全流程，因此针对端上体验的观测难以做到深入和有针对性，而端上体验正是我们所关心的部分。于是，我们的探索将更有针对性，有差异性，且具备扩展性的开展：
2、案头研究，初步确定监测维度
由于前人已经在线上体验研究方面有过许多积累，于是我们研究了不同时代、适用于不同类型产品的体验模型后，会发现：
- “有用”，“有效”，“易用”这几个观测维度贯穿了互联网1.0到4.0时代，是不同时期，各类模型普遍都会涉及到的维度，具有较强的普适性、通用性；（引用文献见[1]-[3]）；
- 而到了互联网3.0、4.0时代，用户接受到的是一种端上+线下的混合服务，涉及交易的产品日益增多，用户体验的观测也需更加立体和多样（引用文献见[4]）。
那再结合滴滴的业务特点及我们自身的诉求，我们将用户主观体验监测分为两大模块：
- 感知：用户是否通过端上了解到了各式各样的功能/信息；
- 体验态度：此处的除了引入常用的“有效”、“易用”、“容错”的内涵以外，还增加了“信息清晰度”、“美观性”这两个指标。
3、维度初定，编制测量题目
考虑到测量题目需要具有扩展性，同时也不给用户过重的填答负担，测量题目的选择基本遵循这样几个标准：
- 题量适中，减少用户填答成本；
- 题型简单，填答不需过多思考；
- 语义简洁，对客体的指向性弱，仅强调客体特点或属性。
这样既可泛指使用滴滴APP的全流程，亦可在后续扩展性研究（针对某一具体环节或界面，采用同样维度进行测量时）中复用，避免语义变化带来的数据偏差。
感知模块：仅简单询问用户“您是否知道/听说过xx功能？”，用户仅需选择“知道/听说过”或“不知道”即可；
体验态度模块：我们初步将每个维度设置为2~4道测量题目，采用Likert 5级量表评分：1分表示非常不同意，5分表示非常同意，反向计分题则相反。
量表初步确定后，我们快速利用身边各行各业、年龄层次、性别的亲友进行了语义测试，以保证量表意义稳定、无歧义。
优化前后部分测量题目示例：
此外，将上述量表编制成问卷时还增加了筛选题、地雷题（又称测谎题）、人口属性题，用于回收后清洗数据、样本加权、细分人群分析时使用。
4、分析数据，优化测量维度和题目
数据清洗：
任何问卷数据在进行信效度分析前，都需要清洗，清洗时至少需考虑4方面：
- 命中地雷题，如：“这道题目请选择‘一般’”，选择‘一般’以外其他选项的用户则剔除;
- 主客观不统一，如：投放的是网约车完单用户，问卷中报告自己没有完单的用户则剔除；
- 填答逻辑矛盾，如：各指标均填答非常满意，但总体填答非常不满意的用户则剔除，反之亦然；
- 填答时长异常，如：全部填答时长分布的首尾1%用户。
信度检验：
信度检验的方法有很多，此处我们主要采用了重测信度和内部一致性信度（Cronbach-α系数）来检验。
- 重测信度即将同样一份量表分别对N组同样的（或具有同样属性特征的）被试进行测量，观察N组被试的得分是否具有稳定性。本次量表得到的重测信度为0.921，通常≥0.70被认为较高；
- 内部一致性信度显示，当量表不包含反向计分题时，信度系数较高，因此我们剔除了反向计分题。
（注：① 一般认为Cronbach-α系数≥0.7时，内部一致性较高；
② 图中“—”表示此维度无反向计分题）
效度检验：
此处主要采用了因子分析法检验工具的结构效度。
由于初定了5个测量维度，因此提取公因子时，暂定提取5个公因子，用以验证我们初定的5个维度及其测量题目是否科学有效。结果显示，提取5个因子，累计解释方差为84.01%（一般认为60%以上可以接受，90%以上非常理想）。
（提取5个因子时，因子载荷表）
结果发现，提取的5个公因子在每个测量维度上的载荷与预设不完全一致：因子1在有效性、信息清晰度的测量题目上载荷均较高，而易用性这一维度的测量题目被拆分在两个公因子上（因子2和因子5）。这说明了2个问题：① 提取5个因子时，有效性和信息信息清晰度之间的结构相比其他维度更为接近；② 易用性涉及的3道测量题目，并不完全是测量的一个方向。
于是，我们尝试提取6个因子，结果显示：当提取6个因子时，因子1-5分别在原预设的5个维度上载荷较高，“易用性”中则析出了因子6。并且累计解释方差也更高，达到了87.65%。
（提取6个因子时，因子载荷表）
5、度量工具的应用经过了上述一系列语义测试、数据清洗、信效度检验，最终确定了通过6个维度及其测量题目来监测端上体验。
以2020年Q2滴滴出行乘客端改版为例，同一时间对使用新旧版滴滴出行的两组属性同质的用户进行测试，很好的体现出了新旧版的差异性：
- 总体上，对新版满意的用户比例更高：表示满意的人群上升了5.6%；
- 分维度看，新旧版的得分差异也比较准确的映射了两版差异：
新版将顶导业务收起，改变了原有的操作习惯，初期用户不适应，易误操作、叫错车型，这点在新版易错性这一维度的得分上也有所映射，略有下降；（截止至发文时，Q3的数据显示，经过了更长的适应期，用户逐渐找到了如何在误操作后返回到正确的路径上，因而容错性这一指标的得分略有了回升）
“至繁化至简”是新版设计的核心概念，设计理念旨在增强重要信息，让沟通有温度，于是在体验维度上表现为信息清晰度、美观性、有效性的用户打分均有所提升。
结语
经过一段时间的实践观察，目前确立的维度和测量题目确实具有一定的敏感性：日常调研反映较好的方面，所对应的维度评分也较高，同时端上的改变也能一定程度的从评分中反映出来。但一个好的度量工具永远是随着产品、企业乃至时代的发展，不断迭代的，我们的度量工具也不会停下迭代的步伐。
引用文献：
[1]陈童的博客 http://www.everyinch.net/index.php/ux_models_honeycomb/
[2]站酷https://www.zcool.com.cn/article/ZNjI1Nzky.html
[3]USE Questionnaire：Usefulness，satisfaction，and ease of use https://garyperlman.com/quest/quest.cgi?form=USE
[4]人人都是产品经理 http://www.woshipm.com/operate/633319.html
原文：https://mp.weixin.qq.com/s/v2dvZZXf0cV0QCBDd7uXqQ
既然来了，说些什么？