My Secret Rainbow

用户体验研究方法论全景图：什么时候用什么方法

本文以一个典型的产品开发流程为背景，使用三个维度划分用户体验研究与设计方法，并列举出在什么场景下应该用什么方法。

写这篇文章主要有三个背景：

1. 一是科普，告诉大家都有哪些研究方法。很多时候由于背景知识的限制，从业者往往只能在自己已知的用户研究方法中做选择，本文期待解决“不知道问什么问题”的问题；
2. 二是很多公司和团队过分依赖于两三种非常熟悉的方法，不熟悉其他方法的的应用场景和细节，导致不敢轻易尝试。但是两三种方法并不能适用于全部的情况，且每种方法需要根据使用背景的不同进行调整；
3. 三是用户体验研究方法本身是有价值的，几乎所有的项目都能从所有的设计方法中收益，但是由于对于一些设计方法的不了解，团队无法正确地权衡使用这些设计方法的成本和预期收益。

下图是判断选择哪种用户研究方法分类的三个维度：

1. 研究用户行为、研究用户态度；
2. 质化研究、量化研究；
3. 数据收集过程中，产品的使用环境。

 

研究人员可以基于你的研究目的、期望的出的结论和实验条件，来判断选用哪些研究方法。

一、用户体验研究方法的三个维度分析

1. 研究内容的维度：研究用户态度 ( attitudinal user research ) VS 研究用户行为 ( behavioural user research )

简单说就是对比“用户怎么说”和“用户怎么做”。

用户态度研究被广泛应用于市场调研，其目的是理解或评估用户对于某个产品的态度，从定性的角度收集用户的想法，感觉，需求，态度和动机。

由于自觉意识 ( Self-consciousness ) 的存在，人们会在意其他人对自己的看法，人们不想被其他人看穿，所以人们会说谎；由于羊群心态 ( Herd Behaviour ) 的存在，人们倾向于从众，人们展示共性并隐藏个性，而往往也是通过说谎或只说部分真相的方式。

这就导致我们在做态度研究的时候，如果降低谎言出现的概率、如何识别谎言、如何修正谎言，以及如何让参与者说出全部的想法，就显得非常重要。但是往往在商业实践中，某些产品经理或用户体研究人员会认为“用户说的都是真话”。更荒谬的是，还会去根据用户说的话去做决策。

用户行为研究主要应用于可用性研究，其目的是：通过用户与服务/应用/网站等之间的量化交互数据，理解或评估用户的真实行为。

 

常用研究方法举例：

1）卡片分类法 ( Card Sorting )

• 类型：用户态度
• 使用场景与目的：提供用户对于某些信息的心智模型 ( Mental Model )，从而得出这些信息在产品中展示的最佳架构 ( Best Information Architecture )，比如展示位置、表达文案、信息分类和聚类等，帮助设计者做决策。

常见问题：

1. 卡片中展示的信息本身是有误的；
2. 参与者不是产品的真实用户，而是产品设计人员；
3. 依据分类后结果做设计的时候，没有考虑人因学 ( Human Factor ) 因素 ( 主要是ABCS )；
4. 只考虑了用户分类的结果而忽视了用户是基于怎样的心智模型才这样分类的。

 

2）统计调查 ( Survey )

• 类型：用户态度
• 使用场景与目的：对于用户自己上报来的信息做评估和分类，帮助追踪或定位产品中的重要问题，比如产品bug、某些服务器问题或某些不合理的产品设计等比较明显的问题。

常见问题：

1. 线上的调查问卷应该有且仅有一个目标：提高响应率 ( Response Rate )。因为较低的响应率会带来误导，低响应率可能会产生误导性的发现，因为它们是基于对高度忠诚的用户的偏见样本而不是大多数用户；
2. 为了让更多人完成，问卷应该问题少、回答所需时间短、问题简单、需要通过可用性测试；
3. 实践中， 要避免调查膨胀 ( Survey Bloat ) 的问题，即不同团队的成员都想在同一份调查问卷中问他们各自关心的问题从而导致整个问卷非常臃肿，从而导致问卷没有结果或得到错误的结果。

 

3）焦点小组 （ Focus Group ）

• 类型：用户态度
• 使用场景与目的：探索一组用户优先考虑意识 ( Top-of-mind Awareness )，了解用户对于品牌和产品的第一想法。可以用户探索用户需求或对于系统的改进意见，但不能用于可用性测试，不能用于测试UI等。

常见问题：

1. 正常配置：1个主持人，6~9用户，2小时，一般要做多组试验。很多团队做焦点小组往往人数过多，且只做一组实验；
2. 用户说的和用户做的是有差异的，所以观察用户是焦点小组的重要辅助手段；
3. 主持人播放demo，好于让各个用户实操，因为焦点小组的中探索群体意见而非个人意见；但是看demo是实操还是不同的，因为看demo的话用户不需要想下一步要干嘛；
4. 小心“滑窗口还是滑内容 ( Windowing and Scrolling )”类问题。比如用户在看一份很长的文件，从上往下一行一行的看，这时候是鼠标滚轮是向上滑（滚动窗口）还是向下滑（滚动内容）比较好？实际操作中，多数人习惯于滚动窗口；但是没接触过电脑的人会认为混动内容的方法比较好；
5. 小心“研究员偏见”，即选参与者的时候是带有偏见选的，会倾向于某类人。比如如果是通过电子邮件找到的参与者，则这些人对电脑的感兴趣程度会大于平均水平，他们的参与程度( involvement ) 也会更高。

 

4）A/B test

• 类型：用户行为
• 使用场景与目的：对比不同方案的优劣，这个是大家在比较熟悉的研究方法。

优势：

1. 真实使用环境中的真实用户行为；
2. 能够测量出很小的差异，比如两种设计方案的数值只差1%，但是这1%在统计学上的显著性可以非常高；
3. 有一些设计指南和研究发现并不适用于某些特定群体，可以通过A/Btest的方法找到适合自己用户的设计方法；
4. 便宜。

限制与误用：

A/Btest最大的限制在于，我们只知道用户的行为具体是怎样的，但是不知道用户的行为为什么是这样的，因为缺少了对用户真实行为的观察；且很难判断这种行为对于整体商业价值来说是好事还是坏事。现如今，A/Btest已经成为了一些产品经理的背锅侠了，“我也不知道哪个方案好，我们A/Btest一下吧！”

 

5）眼动追踪 ( Eyetracking )

• 类型：用户行为
• 使用场景与目的：了解用户如何在视觉上与产品的设计进行交互，简单说就是知道用户在使用不同功能、获取不同信息的时候，眼睛在看哪儿。

常见问题：

其实最常见的问题就是从业者过于忽略眼动实验了，业界的刻板偏见是眼动试验成本高、效果差。但是其实现在眼动设备并不贵，条件限制的话找公司的同事做测试也可。

如果预算实在有限，可以看这个报告《How People Read Online report》。报告非常详尽地论述了很多变量（比如文化、文字、排版，等等）对于视觉动线的影响。

 

2. 研究方法的维度：质化研究 VS 量化研究

1）质化研究 ( Qualitative Research )

用于回答 Why & How的问题：

• 为什么要解决某个问题？
• 如何解决此问题？

特点：

1. 基于对用户的直接地观察，得出用户的行为或态度的数据；
2. 通常研究人员在直接观察用户行为的时候，有机会向用户问问题，通过ABCS的角度探索用户行为，并了解用户做某些事情的真实动机，把冰冷的数据和真实的人情联系起来。

 

2）量化研究 ( Quantitative Research )

用于回答 How many & How much的问题。

特点：

1. 基于数据、量表和分析工具等间接的方法，得出用户的行为或态度的数据；
2. 容易收集到大量数据、容易做数据分析、容易发现某些实验中非常细微的数据差异。

 

3. 使用背景的维度

1）自然状态或接近自然状态地使用

没有人工干预；且用户处于真实的生活/工作等环境中，而非实验室环境。一般这种状态的话，可以最小化“研究本身对于用户的影响”，从而得出最接近用户真实生活状态的行为或态度数据。

被观察者一定会被观察者影响到，在做出选择时或者判断时，很容易因观察与否而影响结果。我曾经就职于某O2O加油平台，有一次公司举办车友会，这对产品团队来说是一次非常好的质化研究的实践。

但是我们发现用户对于我们产品的认可程度极高，他们不仅能发现产品中的一些彩蛋，还能熟练地知道在如果要在A油站加油的话应该在哪个路口等红绿灯时打开我们app。

这里面有三个问题：

1. 其一是选择偏差(Selection Bias)：我们邀请车友的消息是在线上发布的，因而被选中的人对互联网比较熟悉且有关注我们的微信、微博等平台，所以相对于普通用户而言他们更了解我们的产品；
2. 其二是社会期许误差(Social Desirability Bias)，由于我们的车友会是设置有奖励的，所以参与者们期待得到来自于工作人员和其他司机的认可，所以更倾向于说产品的优点和一些“他们认为别人知的事情”来使自己表现得对于产品非常了解；
3. 其三是观察者偏差(Observation Biases)，即人在被观察的时候的行为与语言，与自然状态下的是不一样的。

由于田野调查、民族志等质化研究中不可避免地发生观察者偏差(observation biases)，学术界也在想办法解决这个问题，即如何让被观察者处于自然状态或接近自然的状态，这是非常困难的。

2）用户在按照脚本使用产品

用户：

1. 处于被观察的状态；
2. 通常不处于自己平时生活的环境中；
3. 被要求按照脚本使用产品，不同研究中，脚本的颗粒度不一样。

当我们需要聚焦于产品在某个特定方面的应用，或者产品中某个特定功能的时候，让用户照本宣科地使用产品就会及大地提升效率，比如电商产品最新redesign的下单流程、或贷款产品的进件功能等。

脚本的颗粒度可以很精细，也可以很粗糙，取决于研究人员的目的。比如 benchamarking study 的脚本就写得非常非常详细，这样才能得出一个完善地当前产品的可用性基准（即产品一定要）。

3）用户没有在使用产品本身

往往是一些更宽泛的可用性问题，而非定位产品问题。比如研究用户的心智模型、文化行为 ( Cultural Behaviors，是指人类后天习得的行为，比如抽烟；而非与生俱来的行为，比如啼哭)等。

4）存在多种情况的 ( Hybrid / Combination )

上述几种情况中某一种或多种混合，可能是在多种方法同时在使用。

比如参与式设计 ( participatory design )，即用户参与到设计过程中，他们可以重新排列设计元素，从而了解他们是如何解决问题的，以及为什么做出某个决定。这其中的部分时间用户是在“按照脚本使用”的场景、部分时间是“用户没有在使用产品本身”。

二、不同产品开发阶段下，如何选择用研方法？

我们大致把产品开发分为三个阶段：

1. 战略阶段

商品开发的最初阶段，用户需求和商业目标还没有清晰地定义，此阶段的用户研究工作的目的应聚焦于产生新的想法和探索未来的发展机会。

在这个阶段，用户研究的方法是很多样的，常用的有：田野研究 ( Field Studies ) 、日记研究 ( Diary Studies) 、统计调查 ( Surveys ) 、数据挖掘 ( Data Mining ) 、数据分析 ( Data Analytics )。

 

2. 执行阶段

此阶段已经大概知道了要做什么事以及如何做，此阶段的目标是不停地改进设计方向。在执行阶段，用户研究的目标是获取更多的信息以辅助研究人员做判断，从而优化设计、降低风险、提升可用性。

在这个阶段，应主要采用质化研究，常见的有：卡片分类 ( Card Sorting )、田野研究 ( Field Studies )、参与式设计 ( Participatory Design )、纸质原型 ( Paper Prototype )、可用性研究 ( Usability Studies )，和期望研究 ( Desirability Studies )。

虽然NNGROUP还推荐了使用通过给用户发邮件来做用户研究，但是我在实践中发现，对于中国的用户来说效果并不好。业界很多中这个阶段的公司过于注重量化研究，尤其是妖魔化数据分析的作用，而脱离了用户的实际场景。

要知道，量化研究中获取的数据永远是间接的 ( indirect )；而诸多市值做大的公司，在这个阶段都更多地采用了质化研究，比如滴滴在执行阶段时候，公司员工很多时间是跟司机呆在一起的；比如乐信在执行阶段时候，CEO带头在学校门口做推广，这些推广的过程不仅使自己的产品被更多人知道，也让推广者对于用户有了更深的认知。

强烈推荐的一本书是《贫穷的本质：我们为什么摆脱不了贫穷》，作者以质化研究的方法为主，结合理论分研究和数据分析，寻找那些经得起检验的扶贫方案，为政策制定者、慈善家、政治家及所有希望天下脱贫的人提供了重要指导。

这整个过程与此阶段的产品设计的过程是一致的，都是通过大量的质化研究，去尝试一个个的设计方向，从一次次地错误中找到正确的出路。

 

3. 评估阶段

在这个阶段，产品不仅可以正常使用，而且已经有了一定量的用户，可以通过用户数据来评估产品的表现了。

这个阶段的用户研究，需要更精细、更有针对性，所以主要会应用量化研究的方法，常见的有：可用性基准研究 ( Usability Benchmarking ), 线上评估 ( Online Assessments ), 统计调查 ( Surveys ), AB测试 ( A/B testing )。

 

三、总结

多数方法是可以沿着X轴或者Y轴移动的，实践中经济的（省钱的）做法是，多种方法一起使用从而满足多个目标。比如卡片分类法可以同时有量化的版本和质化的版本，熟练这些用户体验研究方法的最佳办法是刻意练习。

对于没有进入职场的学生而言，能够实地做这些研究是难的，但是可以几个人凑成小组做模拟研究，也可以拉上自己的家人朋友，自己DIY一些纸质的模型做可用性研究。

下图是我读书期间做过的一个游戏的纸质模型：

在这个模型中，用户可以通过推拉纸条，实现“页面”上内容的变换。

主要测试点是：

1. 数据是横着滑动好还是竖着滑动好；
2. 可以通过遮挡住某一个分类来判断这个分类的必要性；
3. 每一个分类下的内容是否合适、用户是否理解每一个分类下的内容等。

但是这种小的DIY的模型做起来真的是非常简单，并不一定要去实习才能获得“工作经验”的~对于在职场人而言，有一些公司也没有那么重视用户体验研究，可能都是产品经理做用户研究专员的。这时候可以：

1. 自己多储备一些理论知识，推荐关注 NNgroup、人人都是产品经理平台的作者“媛媛大王”等，学习一下别人的项目是怎么做的；
2. 通过学习别人的项目反思 ( reflection ) 自己之前做过的项目的优点和问题；
3. 在平时的用户研究和数据分析中，主动去思考如何使用其他的、自己不熟悉的用户研究的方法去迭代自己当前的研究方法和设计；
4. 可以做一些模拟项目的练习，比如，假设自己是滴滴的产品经理，如何设计滴滴司机端的接单页面呢？可以用纸笔画一些草图，然后打滴滴的时候用15秒钟问一下司机：您能看懂怎么接单吗？

在中国，一大优势是人口很多，互联网普及率非常高，对于互联网从业者来说，是不难接触到用户的；即使接触不到自己产品的用户，也能接触到其他产品的用户。相比公司内的用户研究实践外，研究者往往能从公司外的用户研究实践中获益更多。

要注意的是，这些研究方法并非是非常严苛的，不是说采用了某个方法就一定要按照这个方法既定的步骤和流程去执行。在实操的过程中，可以适当调整，但是一定一定要注意偏见 ( bias ) 的问题，避免“虽然得到了数据，但是数据不可用”的尴尬局面。