My Secret Rainbow

如何科学度量100+款「中后台技术类产品」体验

说到设计和产品体验，从来都是感性的事。如何去科学度量？度量完又如何找到病因去针对性的提升？尤其是对于用户和行为数据双少的的中后台技术类产品，阿里云设计中心如何找到突破点，形成一套科学度量方法并标准化？

易用性 —— 设计师撬动产品使用体验的杠杆

随着云计算大数据等技术以及整个信息产业的发展，中后台等技术类产品越来越受到重视，各方对于其体验也越来越“饥渴”。尤其对于阿里云控制台这种多达上百款产品的复杂而庞大的产品体系。“这么多产品的体验到底如何，能够打几分，问题出现在哪里？”是我们常常面临的问题。正如Drucker所说：If you can’t measure it, you can’t improve it.

但说到“体验”，是一个太大的词，有太多设计师无法掌控的因素，我们很难较具体的去衡量和把控。寻找到一个统一的衡量标准，去度量并能够帮助指导提升产品的使用体验，是我们面临的重大课题。

在以往我们尝试采用净推荐值（NPS）和用户满意度（CSAT）等指标来衡量，而这对于链路冗长、操作复杂的中后台技术产品来说，这两种衡量方式太泛，对问题的发掘和度量不够深入与具体，很难帮助产品和设计得出具体的体验提升指导和方案。

因此，在探索的过程中，我们参考了Davis提出的TAM模型，聚焦易用性作为撬动中后台技术产品使用体验的杠杆。Davis在论文中谈到影响技术类产品采用和使用的两个核心因素是“有用性（usefulness）”和“易用性（ease of use）”。“有用性”更多是产品能力本身层面的属性，更关乎功能和商业，而“易用性”正是我们设计师可以把握和发力的核心方面，是我们能够以此来提升产品使用体验，以及产品竞争力和满意度的一个有力抓手。

因此我们希望采用更加聚焦的易用性度量，作为设计师撬动产品使用体验的杠杆，深入发掘产品具体体验问题并做针对性的改进。

易用性度量 —— 一套可量化、可比较、可持续的度量体系

在之前的业务实践中，我们也常请用户评分、做些测试，甚至一起共建，但往往不够客观、不成体系、难以持续。无法在业务中形成影响力，带来持续的度量、监控和改进。

因此，阿里云设计中心希望建立的易用性度量是一整套体系，最终帮助产品的改进。易用性度量体系包含：易用性量表PEM、易用性度量行动指南、运行机制、最佳实践、管理与度量工具。

易用性度量量表PEM

首先，为了有统一的度量标准进行量化，我们设计建立了易用性度量量表PEM（product ease of use metric ）。在这个过程中，我们基于传统的度量量表，结合中后台产品特点与头部客户及专家共建，在15+个度量维度中聚焦确定了“易操作性”、“易学性”和“清晰性”三个最受关注的核心维度，并从30+个具体度量因子中，确定了12项作为我们的度量子项。另外在中文多样化的措辞表述上，我们也与用户讨论确定了他们最容易感知理解的表述方式，最终以这样共建而不是设计师拍脑袋的方式定义了这套度量表。另外，基于业务的实践，通过统计学的方式计算出量表整体信度系数Cronbach’s Alpha为.975，信度非常好，优于SUS等传统的量表信度。

最终的易用性度量量表PEM（product ease of use metric）分为以下几个维度：

易操作性：重点反应产品是否易于操作，与用户的操作效率和任务完成率密切相关。
易学性：重点反应产品是否易于学习和理解，衡量其学习成本与上手难度。
清晰性：重点反应产品的感知清晰性，关乎其信息展示、结构布局和功能入口等方面的质量。

这一套度量量表也不是静态的，在具体衡量子项上我们根据线下、线上等不同应用场景提供了不同题数的版本，具体的量表如下：

易用性度量方法和行动指南

当然，除了量表，易用性度量包含规范化的方法和行动指南。整个流程包含制定核心任务制定-招募用户-易用性测试&评分-统计分析-易用性度量报告-问题解决闭环等系列环节，形成从测试到度量到产品改进的闭环。每个环节都提供了对应的思考模型和工具，以此帮助产品设计师规范化地去执行。

篇幅原因下面举两个环节为例，更详细的内容可参考阿里云设计中心撰写的《云计算软件产品易用性度量方法》团体标准。

比如在制定任务这一环，对于整个易用性度量至关重要。所制定的任务要能代表产品的核心功能和体验水平、要能让测试人员准确理解并操作。而通常很多设计师拍脑袋根据“经验”来制定的任务，往往导致难以客观、准确衡量产品的易用性水平。因此我们把产品功能根据“功能价值”、“使用频率”、“未来规划”“功能难度”等因素划分。设计师可以根据图示去盘点产品中的每个功能，去制定代表产品的核心测试任务。

再举一个例子，我们对于测试及度量时发现的易用性问题也制定了问题修复的等级标准。我们结合测试的数据记录，按照“严重程度”、“出现频率”和“修复成本”3个评判维度以量化的方式制定问题修复的优先级，以此来推动产品和开发的排期解决。量化的方式是将3个问题评判维度定义出相应的指标标准和评估系数（例如，“问题严重程度”我们分为三个等级：影响任务完成、影响使用效率、影响感知体验，分别赋予3分、2分和1分三个评估系数）。最终按照“严重程度系数*出现频率系数*修复成本系数”来计算出最终的优先级等级。最后分数从0.5到13分，分为低优、中优、高优和紧急四个等级。

整套易用性度量标准和行动指南已沉淀为《云计算软件产品易用性度量方法》，并正式提交审核并公示，成为相关行业的团体标准，希望未来能够应用并赋能到更多的产品中。

运作与实践——阿里云易用性度量专项

前面介绍了我们制定的度量标准和行动指南，重点是能推广到中后台产品各个业务域中并顺利运行，帮助问题的发掘做针对性的改进。阿里内部也不乏各种体验活动和度量方法，很多因为没有很好的运作机制而“流产”。

因此运作机制也是易用性度量体系中的重要一环，保证在业务中的价值体现和发展。在整体流程上，我们将易用性度量嵌入在产品商业化流程的UAT环节中，并按每季度一次的方式定期持续开展。我们成立易用性小组，联合业务线产品团队成立产品易用性提升专项。同时成立易用性专业组、专家团等，保证专业性的同时保障相关工作的高效、多维的开展。通过“统一标准、专业输出、改进闭环”的思路在10+业务线上百款产品中标准化扩大影响力。在整个机制中，保证易用性度量的可量化、可对比、可持续。

在开展形式上，除了前往客户现场测评，还采用了易用性度量专场等多样化的方式，拉整个产品和开发项目组同学一起参与，通过这样的方式，业务方能直接的观察用户的行为、倾听他们的声音，也更了解我们一系列专业的方法、流程。

在每次易用性活动之后，我们会统计出易用性度量评分并整理产品改进清单，发出易用性度量报告，并在系统中跟进问题解决闭环，通过定期的度量，帮助产品的持续化体验管理与提升。

工具化

最后，基于整套易用性度量标准，我们自研了易用性测试工具ETest，实现整个易用性度量的在线化、智能化和数字化，保证整个易用性度量的高效和低成本开展，让“简单”触手可及~

最后的最后

设计不是玄学，设计是散发着感性光辉的科学旅程。从理论到实践到标准化，是一个系统的工程，未来我们将在更多的业务领域中开展实验，不断沉淀，形成一套面向中后台技术产品的设计解决方案，让设计有据可依，通过标准化的方式赋能更多的设计师伙伴解决未来面临的共性难题。

原文：https://mp.weixin.qq.com/s/yGG-BWTTwsntS8gDgDN4nA