欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  互联网

建立大数据交易所势在必行

程序员文章站 2022-05-24 17:30:57
随着大数据技术的成熟和发展,大数据在商业上的应用越来越广泛,有关大数据的交互、整合、交换、交易的例子也日益增多。本文就进行大数据交易的一些问题,以及建立大数据交易所的必要性,做一些探讨和研究。我们认为...

随着大数据技术的成熟和发展,大数据在商业上的应用越来越广泛,有关大数据的交互、整合、交换、交易的例子也日益增多。本文就进行大数据交易的一些问题,以及建立大数据交易所的必要性,做一些探讨和研究。我们认为,建立大数据交易所是势在必行的市场需求。

通常哪些公司和机构拥有大数据?

大型实体商业公司或电子商务公司,如大型连锁商店Walmart,Sears等,或Amazon,阿里巴巴。这类公司大都拥有大量的客户数量、长期的客户购卖记录、客户的支付历史等。这类公司最感兴趣的是客户购物的消费偏好和消费习惯。目前这类公司的大数据应用包括推荐关联产品和推出其它新的产品、新的服务上。

大型服务公司,如银行、电信服务等公司。这类公司也拥有客户的某个方面历史消费记录,比如银行可能拥有客户的金融账户收入支出信息,电信公司拥有客户的电话或网络使用历史。这类公司通常对本行业内推出新的产品和服务,以及寻找潜在客户,降低业务风险较感兴趣,比如热门的推荐系统等。

大型制造企业,如福特汽车公司等。这类公司因为其大量的客户基础,往往可以在推出新产品服务上使用大数据技术和应用。

建立大数据交易所势在必行

大型网络服务公司,如Google,百度,Yahoo 等。这类公司由于在其服务行业的垄断性,积累有海量的用户在网络虚拟世界的行为信息。这类公司通过归纳和机器学习等,可以挖掘出非常多有价值的应用产品和服务。目前使用大数据最好的公司是Google。Google广告系统AdSense就是利用大数据技术来实现的。另外,Google公司还可以利用大数据做出一些预测,如流感的爆发,政治性事件的预测等。Google公司还进一步推出如自动驾驶等大数据应用,及Google眼镜等结合大数据收集与应用于一身的产品应用。

大型社交网站,如Facebook,Twitter,及其它社交网站如LinkedIn和其它活跃论坛等。 全世界用户每天都在社交网站上产生大量的内容。仅Facebook每天需要处理的社交信息就达到了500TB之多。 目前这些数据正在被大量的个人开发者和技术公司使用,用来做各种商业服务推荐或新的产品。

*部门和科研机构的公开数据,如有关天气、交通状态、道路、地质、环境 以及科学研究的进展等部分。美国联邦*特别提出,将联邦*各部门的数据开放给公众,这些数据的应用包括自动驾驶、智能交通监测系统等。

除了上述商业机构的大数据之外,国家机构还拥有大量有关国家安全的敏感信息。本文只讨论商业应用,故不讨论这部分大数据的应用和交互。

对外部大数据的整合和交互将成趋势

一位曾在Teradata公司工作的数据专家说过,很多商业公司大约只存储15%的有关他们业务的数据,其余85%数据都存储在其它外部公司或网站上。大数据时代的技术,使得企业内部的大数据和外部数据的整合、交互变得更加重要。

目前一些商业机构对大数据的应用,不止局限于对自身拥有的大数据进行分析,还需要用到其它方面的大数据。

例子1:某些金融企业如银行希望和利用获得其用户的社交信息,以便和该金融企业拥有的客户信息整合起来,推出更多的新产品和更好的客户体验。

例子2:一位医疗保险公司的客户要去某国外城市旅行,在微博上发表了这一信息,医疗保险公司因为事先得到客户的许可,可以从社交媒体上获得这一信息,根据这位客户的个人特殊身体情况,医疗保险公司马上给该客户发去避免某些当地食物的短信。

例子3:一家经营连锁旅馆的企业,除了自己网站、各地客房入住等情况外,希望能够获得其它旅游方面的大数据,例如景区旅游人数、租车公司的客户数量、租的汽车的档次等变化等,这些对旅馆的房价定价,经营预期等有着很强的辅助作用。

例子4:一家初创公司,利用城市交通情况的公开信息(*信息),结合其用户群上传的即时的城市交通状况(互联终端产生的用户自创信息或社交信息),对交通路线、预测到达时间等进行预测,从而为城市里的驾车人群车流进行更好的服务。

商业公司对外部大数据的整合和交互是未来的大趋势,国外有很多公司已经开始着手这方面的技术和服务,如Alteryx、QlikView、Tableau、Factual等。

对于*或科研部门公开的大数据信息,商业公司业可以进行整合和分析,比如人口调查、GDP统计、房产信息(美国是公开的)交通情况等。众多大数据技术公司也已经在这方面发力,如Factual、InfoChimps、Socrata等公司。

据Gartner预测,到2017年,约三分之二的大数据整合项目,将是企业防火墙之外(外部数据)的整合。