大数据时代：经验和直觉不可或缺

《纽约时报》印刷版30日出版文章称，大数据将成为人类商业历史上新的篇章，有望取代想法、范例、组织以及人们思考世界的方式。但与此同时，经验和直觉同样不可或缺。

眼下，关于大数据的很多前卫预测的前提是：Web浏览记录、传感器信号、GPS跟踪和社交网络信息等数据能够以前所未有的程度面向衡量和监控人类及设备的行为敞开大门。通过计算机算法，可以预测出人类的许多事情，如购物、约会或投票等。

业内专家预计，最终的结果就是：世界变得越来越智能，企业的工作效率越来越高，消费者获得的服务质量越来越高，人们所做出的决定也越来越合理。

笔者之前写过不少关于大数据的文章，但在2012年底这个特殊的时刻，我想应该是反思、提问和质疑大数据的时刻。

从商业评估中挖掘实用启示并非新鲜事物。100多年前，弗雷德里克·温斯洛·泰勒的名著《科学管理原理》就是大数据的前身。泰勒的评估工具是秒表，为员工的每一个行动进行定时和监测。泰勒及其助手利用这种“时间和动作”研究模式来重新设计最有效的工作方式。

但如果这种方法被过度夸大，就成为了卓别林《摩登时代》所讽刺的对象。此后，人们对于这种量化方法的热情也开始跌宕起伏。

通常，互联网被大数据倡导者作为成功的数据业务的范例，这其中以谷歌为代表。而如今，许多大数据技术，如数学模型、预测算法和人工智能软件等已被华尔街所广泛应用。

人力瓶颈

纽约创业公司Media6Degrees首席科学家克劳迪娅·珀利彻称：“你可以用数据来欺骗自己，我担心大数据出现泡沫。”珀利彻担心许多人将自己称为“数据科学家”，但并未做足功课，反而给该领域抹黑。她说，大数据似乎将面临劳动力瓶颈。她说：“我们的技能提升速度还远不够。”麦肯锡全球学会去年发布的一份报告显示，美国需要14万名至19万名具有“深度分析”经验的工作者，以及150万名更加精通数据的经理人，无论是已退休人士还是已受聘人士。

大数据存在隐私问题与直觉不足的局限

谷歌调研(GoogleResearch)高级统计师雷切尔·查特称，如果建模人员能够思考伦理维度(ethicaldimensions)等问题，那就会更好地服务于社会。查特说：“模型不仅仅是预测，它们还可以让事情真正发生。”

以Facebook为例，将个人数据上传到自己的Facebook页面，Facebook的软件就会跟踪你的点击和搜索。通过算法来评估这些数据，然后再提供好友的建议。

但这种通过软件跟踪用户的行为却引发了隐私担忧，难道大数据将迎来数字监控的到来？

我个人最大的担忧是，当前确定我们个人数字世界的算法过于简单，不够智能。

令人鼓舞的是，像珀利彻和查特这些有思想的数据科学家意识到了大数据技术的局限和不足。他们认为，听取数据是重要的，但经验和直觉同样重要。

在麻省理工学院大会上，查特被问及如何才能成为一名优秀的数据科学家，她说，需要计算机科学和数学技能，拥有好奇心，具有创新意识，以数据和经验为行动准则。她说：“我不会把机器神化。”