欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  互联网

掘金“大数据”

程序员文章站 2022-05-31 17:19:45
核心提示我们曾经认为,信息是个好东西,应多多益善。但在当下,信息不再稀缺,失速繁衍造成信息严重过剩。海量信息,甚至已成为一种负担。这就是“大数据”时代。在“大数据...

核心提示

我们曾经认为,信息是个好东西,应多多益善。

但在当下,信息不再稀缺,失速繁衍造成信息严重过剩。海量信息,甚至已成为一种负担。

这就是“大数据”时代。在“大数据”时代,所有人都面临如何管理信息、利用信息的难题。

而正因为有需求,于是便有人创造供给,一门新的生意正悄然兴起。

近日,一条微博疯传:

一位年轻人应聘上海某高档小区物业管理,入职后每天拿着条形码扫描枪,在小区垃圾堆里寻找条形码,扫描、归档。

一段时间后,他竟然借此形成调查报告,从该小区居民喝什么水吃什么油到买什么衣服,数据琳琅满目。

报告后来被卖给某公司,这位年轻人获利数十万元。

这并非天方夜谭,这个故事描述了一个新时代的商机——掘金“大数据”。

又一次大颠覆

最早提出“大数据”概念的,是全球知名咨询公司——麦肯锡。

麦肯锡称:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。”

麦肯锡的判断,首先基于一个事实——信息爆炸。

有数据显示:一天之中,互联网产生的全部内容可以刻满1.68亿张光盘。而且,全世界所有数据中,90%是过去两年内产生的。

如何在海量数据中,遴选出有用数据,是一个巨大的商机。

例如,重庆某笔电生产企业,在获得某地人群对笔电的偏好等数据后,就可以根据这些数据,来生产适合当地的产品,这可以避免盲目生产导致的滞销。

还比如,一家服装企业想获得其用户的需求信息,按照传统方法对顾客进行调查,是一件极其费神的事儿——样本少了,没有参考价值;样本多了,投入的调查成本则太高。

但在“大数据”时代,购物网站却能很快提供服装企业需要的数据——顾客在网页停留时间,点击衣服款式,收藏的品类,哪些被放到“购物车”中,都被翔实记录在网站中。网站可据此全面分析用户需求,成本近乎于零。

又一笔大财富

“‘大数据’时代已经降临,在商业、经济及其他领域中,决策将日益基于数据和分析而作出,而并非基于经验和直觉。”《纽约时报》称。

哈佛大学社会学教授加里·金说:“这是一场革命,庞大的数据资源使得各个领域开始了量化进程,无论学术界、商界还是*,所有领域都将开始这种进程。”

2013年1月,IBM宣布收购Star Analytics软件产品组合。而Splunk和NetApp,也被IBM列为收购目标。

位于旧金山的Splunk当前市值为33亿美元,收购该公司,将有助于IBM提升在大型复杂数据库分析市场的份额,而收购NetApp则有助于加强云计算业务。

据不完全统计,自从2005年起,IBM花费超过160亿美元收购了35家与大数据相关的企业。仅在2012年,IBM就完成了11笔收购。

2012年5月,年仅8岁的脸谱网登陆纳斯达克,成为历史上规模最大一宗科技IPO。

脸谱网的秘密,缘于其大数据潜力被客户垂青。它拥有数十亿用户,如果把它比作一个国家,其“人口规模”仅次于中国和印度——在大数据时代,客户数据本身就是商业财富。

中国阿里巴巴,其业绩爆发式增长始于2008年。这一年,阿里巴巴通过对网上交易数据进行分析,预测到了即将到来的全球金融危机,并提前告知了客户。

有机构预测,未来数年间,“大数据”将创造数以万亿美元计的年产值。面对这一巨大的新兴市场,世界各国都加快了掘金之旅。奥巴马*甚至把投资“大数据”上升到国家科技战略的高度,视为“未来的新石油”。

面临的尴尬

在这个时代,顺应“大数据”发展趋势,则兴;背逆“大数据”发展势头,则亡。

国金证券在一份报告中说,能够从“大数据”中获益的,首推主动研发“大数据”的软件供应商,像谷歌、雅虎和亚马逊等,都正在开发或使用“大数据”解决方案。

其次是那些懂得利用客户群优势,垂直整合产业链的公司。

另外,善用数据资产或者具备数据管理、分析能力的公司也获益颇丰。

“原本就有海量数据的企业,做‘大数据’有得天独厚的优势,例如网购平台、电子地图提供商等。相关行业和部门,也应该考虑把数据集合起来,产生价值。”美国德克萨斯大学信息系统博士林漳希认为,如果不能利用“大数据”以更加贴近消费者、深刻理解需求、高效分析信息并作出预判,传统公司的衰落便不能扭转。

重庆聚焦人才服务有限公司总经理郑汉林,正在寻找能够为其提供“大数据”服务的合作对象。“我们的网站每月浏览点击量达近千万次,我们想对各个用户浏览偏好、求职方向以及用户构成等数据,进行详细分析。”他说。

但尴尬的是:郑汉林伸出的橄榄枝,竟无人接招。

“国内并没有太多专业人才,现在做‘大数据’的人,几乎都是从数据储存、商业智能和数据库管理转行过来的。”苏格网CEO邵怡蕾表示,发展“大数据”,人才培养和吸纳迫在眉睫。

数字>>>

1/4

2000年,数字存储信息占全球数据量的1/4,另外3/4的信息都存储在报纸、胶片、黑胶唱片和盒式磁带等媒介上。

93%

2007年,全球数据中,只有7%是存储在报纸、书籍、图片等媒介上的模拟数据,其余都是数字数据。

98%

2013年,世界上存储的数据中,非数字数据只占不到2%。

链接>>>

他们这样掘金“大数据”

1淘宝

2012年12月12日电商促销,淘宝网推出“时光机”——一个根据淘宝买家几年来的购买商品记录、浏览点击次数、收货地址等数据编辑制作的“个人网购志”,从而记录和勾勒出让人感怀的生活记忆。背后,是基于对4.7亿淘宝注册用户网购数据的分析处理。

2阿里金融

2012年上半年,阿里金融投放贷款130亿元,自2010年自营小贷业务以来,其已累计投放280亿元,为超过13万家小微企业、个人创业者提供170万笔贷款,而不良贷款率不到1%——这是银行难以想象的。

原来,通过阿里巴巴、淘宝、天猫、支付宝等平台,阿里金融能对卖家进行定量分析,前期搜集包括平台认证和注册信息、历史交易记录、客户交互行为、海关进出口信息等信息,再加上卖家自己提供的销售数据、银行流水、水电缴纳甚至结婚证等情况。同时,阿里金融还引入了心理测试系统,判断企业主的性格特征。所有信息汇总分析后,企业主的信用评级便出来了。

3IBM

IBM近日推出了新型安全工具——IBM大数据安全智能。这一工具,可以利用大数据来侦测企业内外部的安全威胁。

该工具可以扫描分析数十年以来的电子邮件、金融交易、网络流量,然后通过模式匹配来检测其中可能存在的安全威胁及欺诈。甚至于,该工具还可以通过员工网络文件发现员工情绪。(记者吴刚整理)

渝企抢滩“大数据”时代

猪八戒网:斥资收购上海巨鹿

本报记者 白麟

全国最大的在线服务交易平台猪八戒网,近期刚刚完成了一笔收购——上海巨鹿移动,这家做大数据分析和移动广告匹配的专业机构,已成为猪八戒网“大数据”应用的核心技术班底。

目前,“撮合”猪八戒网线上交易的,基本靠公司的100多名客服。著名市场机构IDC预测,到2020年,全球需要管理的数据将增加50倍,而管理人员却仅增1.5倍。这意味着,人均管理数据量将膨胀近33倍。随着客户的增多,管理客户和交易,人力将无法胜任。

“而采用‘大数据’技术,对海量的交易信息进行分析,建立服务水平综合评价体系,需求方就能迅速匹配到最适合的服务者。”猪八戒网CEO朱明跃说。

据介绍,此前某跨国公司想招聘100个动漫后期人员,但找了多家专业招聘机构,都没完成招聘。但在猪八戒网的数据库里,却能立刻找到数百个合乎要求的人才。

掌脉科技:全力搜集分析数据

本报记者 白麟

作为重庆第一个登陆iOS平台的App企业,重庆掌脉科技推出了《三联生活周刊》、《瞭望东方周刊》、《中国周刊》等App杂志,覆盖了全国上千万的用户。“我们一直在做用户使用规律和偏好的分析。”掌脉科技创始人陈旭说,“这谈不上什么高科技,掌脉科技还是‘大数据’时代的门外汉。”

但在资深媒体人士邓海眼中,掌脉科技却是一个野心勃勃的家伙,“表面看,掌脉科技只是在为传统媒体做App的代工,但其在为传统媒体开发App的同时,也掌握了传统媒体App客户的海量信息。掌脉科技可对这些信息进行分析,了解读者群结构、需求、偏好——这是一笔宝贵的财富。”

“每年都会竞拍出天价的广告,但事实上收看人群中仅仅有万分之一甚至十万分之一才是这一商品的潜在消费者。广告不能精准投放,是广告客户正面临的困惑。”邓海分析称,利用“大数据”分析,或能让广告客户实现精准的广告投放。

重庆联通:今年投用西部数据中心

本报记者 李伟

掘金“大数据”时代,重庆市通信管理局相关负责人25日表示,将深入研究大数据时代带来的机遇与挑战,支持大数据等新型服务业态发展。重庆联通建设的“中国联通西部数据中心”,将在今年投入使用。

上述负责人表示,该局将加强云计算产业的统筹规划,研究相关政策引导产业健康发展。下一步,重庆市将积极推动云计算网络扩容和网络优化,进一步夯实云计算、物联网通信网络基础,迎接“大数据”时代到来。

重庆联通正在积极建设的“中国联通西部数据中心”,位于重庆两江新区重庆水土高新园,是一个囊括该集团外呼业务中心、商务洽谈中心、VIP业务接待中心等机构在内的综合性生产基地,总用地250亩。其中,一期项目预计投资40亿元,用地规模150亩、建设面积19万平方米,可达到2万个机柜的装机容量,约18万台服务器规模。

“大数据”时代

呼唤用户隐私保护

白麟

也许就是今天,你的上网习惯、消费信息,甚至穿衣服的颜色、高矮胖瘦,都已成为“大数据”的一部分。在此背景下,另一个问题应运而生:各种终端不断采集信息的同时,如何防止公民个人隐私不受侵犯?

这并非耸人听闻。互联网广告专家、人大经济学硕士沈禄政表示,当下,淘宝知道你买了什么东西,百度知道你喜欢看什么网页,QQ和微博知道你有哪些亲戚朋友。沈禄政甚至悲观地认为,地球人已经不能杜绝互联网服务企业收集用户隐私了。

美国卡耐基梅隆大学计算机博士胡宁表示,当前如美国等发达国家,有完善的法律来规定:哪种机构能够获得哪种私密层级的信息,以确保个人隐私安全。但国内对这一块的规定还比较模糊。

北京邮电大学互联网治理与法律研究中心主任李欲晓认为,“大数据”时代,个人隐私构成现代商业服务业和网络社会运行管理的基础,对任何国家而言,个人信息都是其发展的战略资源。而目前我国相关领域,仍处于巨大的安全风险之中,“需要从国家层面建立个人信息保护的战略和规划”。