如何分析用户评论,滴滴出行的评论内容分析法
本文介绍一种分析评论反馈的系统化方法。这种方法基于内容分析(Content Analysis)研究方法,但是十分简单有效。
为什么要分析评论反馈
任何2C的产品都避免不了海量的用户评论/反馈,这恐怕对普通用户来说,最直接的向产品表达看法的途径了。如果能够正确地分析这些评论,发现关键问题,产品就不会走向歪路……不过可不容易。很多产品对用户评论的重视度并不高,即便愿意花费精力去分析,即便分析了,使用的方法也是五花八门。
我以前实习的时候做过一种“打杂”的工作,就是回复用户反馈。我那时在1礼拜之内将反馈的回复率提高到了大约80%,只剩20%实在无法理解的才没有回复。我那段实习经历中不乏重要项目的策划、设计和实施,但是我却觉得那段回复评论的“打杂”是让我收获最多的工作,也是对产品收益最大的工作。
有人也许想说,现在有的是分析工具、人工智能来做大数据分析,还需要人工分析评论吗?我们现有的工具,大多只能对文字做一个非常粗略的统计,而无法真正理解文字背后的意图,所以真正有价值的工作,还是脱离不了人力。
该用什么方法现在用研也不是什么罕见工作了,分析用户评论的方法非常多,而且谁都可以自创一种。我并不觉得有什么方法是一定好的,有什么是一定不好的。不过,学术界有一个叫做内容分析(Content Analysis)的领域,专门研究文字、媒体信息,半个世纪的时间里有很多人通过研究分析,终于找到了一套较为成熟的方法。我想,花费众人半个世纪才研究出来的分析方法,应该还是经得起考验的吧。所以,我决定在这里介绍一个以内容分析法为基础的,分析产品评论和反馈的方法。
系统化的内容分析最早是在1927年被一个叫做 Lasswell 的人用来分析政治宣传内容,也是挺神奇。接下来的二三十年代里,内容分析被用来研究当时快速发展的电影领域。五十年代随着电视的普及,内容分析成为了大众传播研究的重要手段。到了现在,内容分析以及开始运用于网络社区以及评论的分析研究。
Lasswell 最早给内容分析的定义是这样的:“谁说了什么,通过什么渠道,对谁说的,有什么影响”。
然而在产品评论和反馈这种单一场景中,这个定义里面剩下“谁说了什么,对谁说的”有意义,减轻了不少复杂程度。
进过这么多年的发展,内容分析其实早已不是一种单一的手段,里面涉及到了很多新的因素,例如多媒体内容分析、定性分析、计算机分析等等。但是真正发展成熟、被广泛认得的,还是比较传统的文字定量分析。我打算在这里介绍的,也是这种已经比较确定的方法。
分析步骤别看前面扯了一大堆,其实这个方法非常简单,其最大的价值不过是标准化而已。为了方便理解,我使用了应用宝里滴滴出行的评论作为案例。
1、选择样本这里的样本也就是指产品评论和反馈的内容了,通常不要少于50条。不过需要注意的是,参与分析的人必须完整读完所有内容,所以要量力而行。为了以后方便维护,可以给每一条加上编码。
下面是滴滴出行在应用宝里的50条最新用户评论:
2、设计分组你先把前25条通读一遍,写下可行的分组计划,例如“支付问题、下单问题、登录问题”等。这个分组设计以后可以调整,但是这里需要定制一个初始计划。
25条这个数是针对不太复杂的产品而言的,如果是像微信这种什么功能都有的产品,那这个数量就不够了。如果产品模块和功能较多,可以先将各自的评论和反馈区区分开来,再进行分析。
如果是自己独自完成,只需写下分组名称就好了。如果维保准确性,多人同时进行,则需要给每组写下描述和规则。
下面是范例:
3、完成分组按照通过前25条设计的分组方案,阅读其余的内容并完成它们的分组。在这个过程中,如果发现先前设计的分组方案不合理,可以进行修改。
以下是滴滴出行的分组范例:
4、记录关键问题和现象
在分组过程中或之后,仔细阅读评论的过程中肯定会遇到一些关键的问题和现象,你一定要在发现的第一时间记录下来,不然后来肯定就忘记了。
这也是通读评论的价值所在,通过一条一条的理解,很多真正的问题都藏在粗略的文字背后。例如,滴滴出行的反馈里面多次出现“相同路线来回价格不一致”、“预估价格与实际价格相差过大”等评论,它们是不是都指向一个问题——“缺少价格解释”?
滴滴出行的范例:
5、统计分析
如果你整个分析都是在Excel里完成的,那么统计起来就方便了。你可以算一算正负面评价的比例和最受关注的问题。
不过,最有用的分析可能挺不是这些定量的数据,而是你记录下单关键问题和现象。通过整理,你会发现很多之前没有想过的问题,只有真正一条一条阅读分析才能挖掘出来。
范例:
其它一个人的判断不一定准确,所以这种分析可以叫上两个人同时进行,这样的话分组规则就不能轻易修改了。两人分别分组之后,可以计算一下两人得出相同结果的概率是多少,通常要80%~90%以上才能够确保结果的可信度。
分析关键问题这一步骤其实已经超出传统的定量分析,借鉴了一些定性分析的成分。因为这毕竟是产品的用户调研,不像心理学研究那样要求绝对的准确率与客观性,所以这里就可以不用太过拘泥于方法,关键是一定要通读并理解所有内容。
评论和反馈中肯定有相当一部分是你无法理解或是与产品无关的,这些内容可以跳过不计。
总结内容分析的方法毕竟太过专业,真正做的时候可以有一定的灵活性,但是这四条不能忽视:
保证内容的数量在50条以上,但也不用太多一定要通读并理解,不要随便扫一眼或者干脆搜索关键词谨慎并且不断优化分组规则透过现象看本质,随时记录发现的关键问题标注:我使用“分组”这个词,与英文中的“coding”有很大差异。但是直译的话会容易让人产生误解,所以使用了感官上较为模糊的一种翻译。
上一篇: 情怀,敌不过简单粗暴
下一篇: 3dmax怎么做一个篮球场地面模型?