欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  互联网

数据科学家成十大热门职缺 制约大数据发展

程序员文章站 2022-06-28 10:31:20
  大数据应用在全球各国发酵之际,伴随而来的问题,就是各国普遍缺乏数据科学家,在国内,大数据的应用虽然才刚刚萌芽,但是要面临的几项重大挑战。   挑战 1 - 数据分析人才不足...

  大数据应用在全球各国发酵之际,伴随而来的问题,就是各国普遍缺乏数据科学家,在国内,大数据的应用虽然才刚刚萌芽,但是要面临的几项重大挑战。

  挑战 1 - 数据分析人才不足

  因应大数据处理的需求,不论企业决定采用哪一种解决方案,最终需要有数据科学家来运用这些大数据,才能活化大数据的价值,重新建构数据之间的关系,并赋予新的意义,进而转换成企业的竞争武器。

  在大数据处理环节中,数据科学家是能否点燃大数据价值的关键。然而,数据科学家的养成并不容易,因为数据科学家必须同时具备3种条件,包括深入了解企业内的业务与组织、具备数据探勘等统计应用知识、熟悉数据分析工具操作。

  一般而言,拥有一项专长的人很多,但是,同时拥有3种专长的人,就非常稀少。然而,作为数据科学家就必须有整合运用的能力。否则如果只是熟悉数据分析工具操作,但却不懂企业内的业务运作细节,就无法从既有数据中挖掘出新的数据价值。而若只懂业务却不熟悉数据分析工具,也很难重新架构数据的价值。同样的道理,如果缺乏数据探勘的技巧,最多只能做到OLAP(Online Analytical Processing)的展现。

  目前国内的数据分析师,较擅长的是处理已经发生的问题,找出问题源头,并且尽速排除问题,但是,相对缺乏发掘未知问题的能力。根据市场调查机构Gartner的数据,有高达72%的企业认为,大数据的应用价值,在于预测未来。然而,这样的应用需求与国内数据科学家的人才才不相匹配,预计将成为国内发展大数据应用的最大挑战。

  数据科学家必须同时具备3种条件,包括深入了解企业内的业务与组织、具备数据探勘等统计应用知识、熟悉数据分析工具操作。数据科学家的工作职缺,从2011年开始急速攀升,成为前10大热门职缺。这项统计是汇集1千多个人力招聘公司的数百万个职缺结果。

  挑战 2-当地大数据顾问服务不足

  在大数据的应用风潮下,新兴的技术与人才也备受瞩目,其中又以Hadoop架构的技术人才最为缺乏,目前不论企业或信息厂商都相当缺乏非结构数据处理的技术人才,因此,即使是概念验证阶段,大多需要依赖国外顾问飞来国内,所花费的时间与成本,都让大数据处理的效益大打折扣。

  国内之所以会面临Hadoop人才不足的问题,主要是因为Hadoop的发展源自美国,所以Hadoop相关的技术资源,也都聚集在北美。目前Hadoop的应用,虽然逐渐延伸到亚洲国家,然而相关的技术人才与顾问服务都还在萌芽。

  为了解决Hadoop当地顾问服务不足的问题,企业也可以考虑培养自己的Hadoop团队。然而,由于Hadoop的应用在国内才刚刚开始,因此,企业对于是否要培养自己的Hadoop团队,尚言之过早。一方面是因为企业的大数据处理,还没有导入Hadoop的迫切性,另一方面则是对Hadoop的长期发展还在观望当中。

  奇美电子信息管理处副总处长李宴昌不讳言地指出,信息产业每隔几年就会出现一个新技术,但未来能否普及却不一定,企业不可能承担这种风险,在这个阶段就决定培养Hadoop技术人才,除非可以确定这种人才的长期需求,否则宁愿先观望再布局。


  挑战 3-对数据价值的敏感度不足

  大数据的价值,除了解决现在无法解决的问题,还要能发掘原本不知道的问题。业内人士认为,数据分析的前提是,数据保留的完整性与正确性。然而,在国内的企业文化中,长期以来都没有依赖数据来做决策判断的习惯,对于数据的价值也理解不足,甚至是忽略数据的存在,因此,有些企业根本没有保留数据与应用数据的长期规划。

  举例来说,在国内部署非常普遍的ERP系统,是所有应用系统中,与企业营运最息息相关的系统,理论上,ERP系统中的数据品质,也就是数据的正确性以及一致性等,应该都是企业内各应用系统中最好的。但实际的情况并非如此,ERP系统的帐务数据,并不能与企业的营运画上等号。

  一般而言,企业在导入大数据应用时,如果既有应用系统的数据品质越好,技术面导入的成功机率就越高。而若没有好的数据品质,却要做大数据分析,就要有面对辛苦的准备,因为大数据分析绝对还是必要的。

  大数据分析的价值,在于活化数据再利用。信息科技的发展,本来就是为了处理信息,而不是为了提升硬体效能,如果导入大数据的决策单位,是由信息部门主导,很有可能就会专注在系统效能提升层面。如果由执行长等级的决策者领军,相对较易把大数据的应用与业务命脉整合。

  根据市场调查机构Ventana所揭露的数据,目前导入大数据的决策者,高达66%是信息部门的中阶主管,由信息高级主管等级来做决策的比例,仅有33%。