欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  互联网

谢文:大数据推动新变革

程序员文章站 2022-10-17 21:22:18
在2009年甲型H1N1 流感爆发的前几周,谷歌公司的工程师们在《自然》杂志上发表了一篇令公共卫生官员和计算机科学家感到震惊的文章,声称谷歌能够预测冬季流感的传播——不仅能预测...

在2009年甲型H1N1 流感爆发的前几周,谷歌公司的工程师们在《自然》杂志上发表了一篇令公共卫生官员和计算机科学家感到震惊的文章,声称谷歌能够预测冬季流感的传播——不仅能预测到全美范围的传播,甚至可以将流感传染目标锁定到地区和州。

原来,谷歌是通过观察人们在网上的搜索记录来完成这个预测的。在流感爆发后,谷歌发现与流感这个关键词相关的搜索量也出现了爆发性的增长。每天,谷歌都会收到来自全球超过30亿条的搜索指令。在如此庞大的数据资源支撑和帮助下,谷歌通过对搜索相关性的分析做出了准确的预测。

这是去年美国畅销书《大数据时代》中描述的一个故事,并借此形象地推出了“大数据”(Big Data)这一概念,使之成为2012年互联网界极受关注的高频热词。

全球信息咨询机构国际数据公司(IDC)对大数据的技术定义是:通过高速捕捉、发现或分析,从大容量数据中获取价值的一种新的技术架构。大数据具有4V特点:Volume(体量)、Velocity(速度)、Variety(多样性)、Value(价值)。

知名互联网评论人士谢文近日接受财新记者专访,对大数据及其带来的革命性应用进行了深入的阐述。他认为,大数据将开启一次重大的时代转型,不仅将引领IT领域的技术变革,还将深刻影响世界的方方面面。

“一言概之,大数据时代,是人类信息社会在经历计算机时代、互联网时代之后的收官阶段,一个数据化的地球在高速形成。”谢文表示。

大数据正在从宏观社会到中微观市场贯穿其影响。美国*已在2012年发布“大数据研发计划”,以此来提升美国在科学发现、环境与生物医药研究、教育和国家安全等方面的能力,解决美国面临的最具挑战性的问题。美国总统奥巴马在2013年国情咨文中,更是将3D打印技术视为重振美国制造业,甚至引领下一轮制造业革命的新动力,而3D打印技术也可理解为大数据时代下的数据化制造。

在谢文看来,在计算机和互联网时代勉力跟随的中国,大数据时代应不甘落后。但素来缺乏社会信息共享机制的中国,一切还得从打破信息壁垒与*封闭开始。

【对话摘登】

财新记者:按照你的分类,人类现代信息社会分为计算机、互联网、大数据三大阶段。我们正在进入的大数据时代,具体来看,即将给我们生活的世界带来怎样的变化?

谢文:现在整个世界正处于一个大转型前的拐点。之前的20年,全球享受了冷战后的全球化红利,交易壁垒、贸易壁垒、货币壁垒被逐一打破,全球贸易的快速增长推动了世界经济的发展。但是2008年的金融危机深刻影响了世界,全球贸易的推动力也基本消耗殆荆世界需要寻找新的出路,大数据将是新的推动力。

大数据时代,是人类信息社会的收官阶段。之前的计算机时代和互联网时代,都是为大数据时代做铺垫和准备的。计算机时代的核心是计算能力,极大提高了人们对数据的处理能力;互联网时代解决了信息移动和连接的问题;而大数据时代,可将世界万事万物通通数据化,让人们在数据利用中优化现实操作和行为,令全球系统的运行更为高效。

从物质世界到数据世界,这是一个广阔的天地。如果人们能够突破数据采集、存储和分析处理的成本障碍,就可以轻松获取与利用大数据,从根本上推动制造业、互联网业、金融业等经济领域的变革,甚至改变社会管理的方式。

财新记者:与计算机时代、互联网时代相比,大数据时代的核心是什么?

谢文:大数据时代的核心词是开放与融合,以及“一切皆可数据化”的思维。万事万物皆可数据化。

如果把世界看作可理解的数据海洋,那么大数据就是一种可以渗透到所有领域的世界观。

现在很多公司讲得更多的是“数据大”,而不是大数据。大数据应该是完整综合的、开放公共的、动态及时的。这样的大数据才能为人们提供全新的视角。牛津大学教授舍恩伯格在《大数据时代》一书中介绍了大数据时代的思维变革,强调全体数据而非随机样本,不是精确性而是混杂性,以及不是因果关系而是相关关系。

现在一些企业如Facebook已经在其平台上进行了数据共享。一些国家也在尝试数据公开。美国*通过大数据网站“Data.gov”,公开了数以十万计的开放数据库,建立了有几十个国家参与的开放*联盟,将社会公共数据对任何第三方开放。这将成为一种潮流,大数据是大趋势,无论个人、企业还是*都会被卷入。

大数据时代,还需要新的逻辑和思维,需要想象力。一切皆可数据化,小到“上帝粒子”,大到整个宇宙,都是由数据化的信息构成。人类社会的各种行为也可以数据化,所有的问题都能通过数据化的方法解决。

而且,大数据时代的成本,绝大部分已沉淀在历史中,并分解于整个社会系统。甚至在工业社会之前,世界就存有大量的数据,计算机时代和互联网时代更是积累了数据的收集、存储和分析处理的各种能力。

财新记者:互联网时代深刻改变和冲击了媒体、电信、零售等传统行业,大数据时代又将如何推动实体经济的发展与变革?

谢文:以往发生在互联网时代的故事还会在大数据时代重演。现在大数据仍处于萌芽的状态,未来对实体经济和商业的变革将显著发生在以下几个领域:

首先是医疗健康领域。以往的标准化平均值治疗,将向精确化、数字化医疗转变。通过数据化及传感设备,可以进行精确的治疗,甚至器官再生。

这个已经过了思想革命的概念阶段,进入了实操阶段,接下来就看谁能有效降低成本进而大规模推广。

其次是制造业。以目前3D打印为代表的数据化制造,是一种个性化的、全新的制造方法。不需要模具,就能够做到不同材料的无缝对接。甚至以往难以制造的东西(比如人体器官),也可以通过数据化方式还原制造。这种新兴的数据化制造,从数据到实物的转化都会进入低成本、大规模、打破时空界限的全新历史阶段。这将重新定义众多产品制造业的产业链和商业模式,设计、制造和流通过程所需要的数据集成将成为产业上游。数据化的制造业还将极大地降低库存,甚至做到零库存。

三是金融、航空等行业将完全电子化,比如依托大数据,可以准确预测机票价格的走势。

四是军事安全领域。这虽然不是商业领域,但是对大数据的依赖更高,也有可能是最先实现突破的领域。军事安全的后台支持,卫星系统、数据分析系统等对各类数据的要求更高。

另外,离大数据最近的还是互联网行业。互联网未来可能向数据服务业迁移,以往通过网站服务、APP赚钱的方式,将是极小的分支。整个数据服务产业链由数据生产、传播、获娶存储加工和分析出售等环节组成,各个传统行业将分门别类地属于一个和数个产业链的环节。

利用大数据,将会产生更多的商业模式创新空间。美国一家名为气候公司的创业公司,每天对美国境内超过100万个地点,未来两年的天气情况进行超过1万次模拟。随后,该公司根据根系结构和土壤孔隙度的相关数据,与模拟结果相结合,为成千上万的农民提供农作物保险。这就把传统的、标准化的保险产品更精细化、个人化了,这就是全新的商业模式,利用了人、社会和自然三种大数据。这代表了大数据时代的一个方向。

财新记者: 大数据时代有哪些具体的创新方向?

谢文:大数据时代有前台、中台和后台三个主战常前台是数据终端,负责数据获取和传输,如手机、电脑、智能眼镜、汽车以及各种传感器等,将物质世界和人类社会的一切数据化。这也是目前争夺的主要战常出现的创新数不胜数,比如谷歌的眼镜、自行汽车,苹果的手机,内置在药片中的传感器等等。现在流行的物联网、移动互联网等概念,都囊括在大数据的概念中。

中台则是数据中心,是各类数据的存储和分析平台。现在各家设备厂商、IT产业主要集中在这一环节,它们将转向大数据集成和解决方案提供商。云计算属于这一范畴。

真正的后台,则是基于大数据的创新。目前还没有看到真正的基于大数据模式的领军公司。或许这个公司都还没有诞生。但基于大数据的商业模式创新,在五六年后一定会催生出一批大公司,下一个谷歌、下一个Facebook都将在大数据时代出现。

在大数据时代,当效率一下能提高数倍的时候,新的生活方式和经济运行方式一定会产生,传统方式受到的冲击将是颠覆性的。

财新记者: 如此看来,大数据将是企业创新的竞争力源泉。但大数据本身是个宏观的概念,需要自上而下的推动力,*力量在其中有不可或缺的作用。上升到*与国家层面,大数据可能产生什么作用?中国有何借鉴?

谢文:大数据将会变革社会管理的方式,成为国家竞争的前沿。美国的突破口是开放*,建立了开放数据平台Data.gov,将社会公共数据公开在这一平台上,通用格式,令所有人可得。这在公共领域,对预防犯罪、交通管理、教育、反福利欺诈等都非常有效。美国联邦*要求各个州都公开相关数据。美国、英国等国家还组建了开放*联盟。在公共管理领域,大数据的投入少、收益高且见效最快。

这非常值得中国借鉴。在大数据时代,中国有足够的机会,因为中国的市场足够大。另外,中国还有另一个因素——中国有着高度集权的**,如果思路正确,走对道路,的确可以在某些方面表现出更高的效率。在计算机和互联网时代,中国作为追随者大体与世界保持同步。现在世界正进入大数据时代,中国同样也不能落后。

但中国的基础性问题是没有信息开放的标准,更没有社会数据共享机制。无论*还是公司,中国在信息共享方面的理念都相当保守。同时,中国还缺乏完善的市场经济制度和法治体系作为基础支撑。

另外,中国的创新环境也与欧美国家不太一样。中国过去十年是经济增长的爆发期,快速的增长与人口红利,让中国似乎有了些不急于创新的本钱,在诸多领域相对封闭,固步自封,甚至劣币驱逐良币。

对中国的新一届*而言,过去的模式不可持续,需要寻找新的出路,而大数据是一个必要的选择。

中国可以从在各领域建立统一的数据库开始,系统考虑大数据的国家战略。由此可解决很多现实问题,如预算公开、反腐败等等。例如,**在拨款的时候,即可要求各部门和地方各级*建立数据库并公开,采用通用、开放、共享的原则,每分钱的去处都可以数据化,随时可查。对政绩的考核标准也可以数据化。

如此,很多问题就转化为具体操作的问题,而非意识形态的问题。大数据思维能够提供很多方法,来解决中国的*性障碍。