欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  互联网

大数据热 高端人才缺

程序员文章站 2022-09-09 23:12:19
阿里巴巴支付宝用户价值创新中心是支付宝大数据业务的核心部门,这个只有7个人的团队负责为公司开发出可以销售的商业化大数据产品。虽然阿里巴巴各类业务产生的数据为数据分析创造了非常好的基础条件,然而这个团队...

阿里巴巴支付宝用户价值创新中心是支付宝大数据业务的核心部门,这个只有7个人的团队负责为公司开发出可以销售的商业化大数据产品。虽然阿里巴巴各类业务产生的数据为数据分析创造了非常好的基础条件,然而这个团队却因为招聘不到合适的数据科学家而在研发上进展缓慢。

“大数据泡沫如果现在存在的话,恐怕并非数据的作用被过分夸大,而主要是由于真正具备资质的数据科学家数量不足导致的。”零点研究咨询集团董事长袁岳认为。

IDC认为,大数据相关人才的欠缺将会成为影响大数据市场发展的一个重要因素。而据该机构预测,中国大数据技术与服务市场将会从2011年的7760万美元快速增长到2016年的6.16亿美元。

数据科学家不足成为发展瓶颈

大数据职位相关的技能主要包括数学、统计学、数据分析、商业分析和自然语言处理,数据科学家是复合型人才,是对数学、统计学、机器学习等多方面知识的综合掌控。

不仅仅是阿里巴巴在面对大数据发展时遭遇人才瓶颈,多家咨询机构也都预测了大数据的快速增长和人才需求规模。麦肯锡全球学会(McKinsey Global Institute)2011年发布的一份报告显示,到2018年,美国需要14万名至19万名具有“深度分析”经验的工作者,以及150万名更加精通数据的经理人,无论是已退休人士还是已受聘人士。

而据Gartner预测,到2015年,全球将新增440万个与大数据相关的工作岗位,且会有25%的组织设立首席数据官职位。其中有190万个工作岗位将在美国。而每一个与大数据有关的IT工作,都将在技术行业外部再创建3个工作岗位,这将在美国再创建将近600万个工作岗位。

但是,Gartner也同时指出,拥有大数据技能的IT专业人员严重短缺,只有1/3的新的工作岗位将雇佣到人员。

去年7月,阿里巴巴集团成为国内第一家任命首席数据官的企业,产业界普遍看好数据人才的未来。

那么,大数据人才究竟是哪类人才?在英特尔中国研究院首席工程师吴甘沙看来,大数据最关键的部分是数据分析和挖掘数据价值,要获得这些,就需要大量的数据科学家。数据科学家是复合型人才,是对数学、统计学、机器学习等多方面知识的综合掌控。初级的分析人员只能是对数据进行报表、描述性分析,真正高级的数据科学家需要对数据做出预测性的、有价值的分析。从目前的人才储备来看,这部分的储备欠缺。

国际数据分析研究所的分析师们认为,大数据职位相关的技能主要包括数学、统计学、数据分析、商业分析和自然语言处理。尽管还没有达成一致,但是数据科学家、数据架构师等职位的需求已经逐步获得了共识。[lhnbh

掌握机器学习和知识图谱很重要

从计算机学界的理解来看,大数据的核心技术是机器学习和知识图谱,掌握这类知识和技术的人才最为紧缺。

相对国际分析师认为的大数据急缺数据科学家的判断,来自企业的资深人士则表达了不同的看法。风牵云启信息技术有限公司CEO邓侃博士向《中国电子报》记者表示,大数据需要三类人才:第一类是云计算IAAS方面的人才;第二类是掌握计算框架和基础算法,能将应用很快部署到云计算上的人才,他们需要掌握机器学习(deep learning)和知识图谱(knowledge graph);第三类是应用人才,能够对某类应用做统计并预测趋势,例如用大数据检索空气质量,利用网页进行大规模搜索或统计等。

“现在第一类人才相对其他两类已经比较多了,第二类正在逐渐聚集,第三类比较少,但是也开始有了。”邓侃表示,“从计算机学界的理解来看,我们认为大数据的核心技术是机器学习和知识图谱。这是一种框架性的知识,介于基础设施和应用之间的技术。例如大数据应用的代表谷歌公司就有两个大的开发方向,一个是机器学习,另一个是由搜索团队负责的知识图谱。”他同时认为,掌握第二层知识和技术的人才最为缺少。

神舟通用数据技术公司总经理何清法告诉《中国电子报》记者,任何一种大数据方案都不可能适合所有的行业,因此,大数据的核心业务必然是一种扎根于特定行业,综合运用已有的存储、分析、挖掘、展现技术,根据用户需求并融入行业特色技术模型的一站式大数据平台业务。

正是由于大数据具有这样的业务特点,所以企业最需要两种人才:一类是综合型人才,另一类是技术专家。一方面,大数据具有强烈的行业特点,这就需要综合型人才,这种人才需要了解行业,了解技术的各个层面,以综合的视角制定确实可行的方案为目的,还必须具有统计学背景,并对数据管理有丰富经验,他们是目前最急缺的人才;另一方面,大数据方案的实现,必须由技术专家来完成,技术专家的能力也直接决定了企业所能制定大数据方案的深度和广度,传统的数据库应用开发,特别是商业智能应用开发人才,以及熟悉Hadoop等分布式存储的人才,也都是必不可少的。

“这两方面的人才缺一不可,就如同经济基础与上层建筑之间的关系一样。”何清法强调。

北京航空航天大学教授马帅也赞同复合型人才的说法,他认为,大数据人才既需要懂计算机,也需要懂数学统计、经济,还需要懂业务。其中,真正理解业务、能根据大数据应用需求写出核心算法的人非常少。

大数据人才培养需要校企合作

企业可以与学校联合培养人才,或建立专门的数据科学家团队,或与专业的数据处理公司合作,以解人才之急。

中国大数据人才缺口究竟有多大?邓侃粗略估算至少需要100万人。对于企业来说,虽然人才储备有缺口,但是大数据业务还是得做。邓侃建议,国内企业可以借鉴国外做法,首要是明确企业的战略方向是什么,业务需要哪些大数据支持。具体到淘宝金融,邓侃举例,它需要大数据实现金融业务处理,那么就需要了解金融行业和Hadoop/MapReduce的人才,而具体到百度,需要知道用大数据怎么做搜索,与搜索技术有关的人才就是他们需要的。

邓侃告诉《中国电子报》记者:“虽然目前大数据应用比较少,人才也比较少,但是中国的知识积累并不少,例如中国的学术界和产业界在机器学习上也有积累,现在的问题是如何将这个知识和大数据结合起来。”

记者了解到,前不久,北京航空航天大学计算机学院、软件学院和百度、淘宝、腾讯等企业合作,联合开办国内第一个大数据专业工程硕士。运作该项目的负责人慧科教育总裁方业昌博士告诉《中国电子报》记者,之所以由这些企业和大学合作来培养自己所需要的大数据人才,是因为考虑到大数据的解剖对象是大量的数据,这些数据只有企业才有,而学校并不生产数据。在企业的支持下,学校就能通过针对性的实践训练来培养学生的技能。

何清法表示,目前互联网公司已经意识到人才紧缺的问题,建立了专门的数据科学家团队,但是对于金融、能源等行业公司来说,与专业的数据处理公司合作、使用成熟的产品和技术是更为现实的选择。