大数据的三个入口
程序员文章站
2022-06-13 11:12:45
...
大数据的热门使得很多人都想往这个方向发展,做一些像数据挖掘,数据分析之类的工作。但是该从何开始呢?要怎样才能快速学到一些有用的知识,技能呢?我觉得有三个切入点,依照个人特点可以自行选择顺序切入。 1机器学习/数据挖掘 数据挖掘主要依赖于大部分
大数据的热门使得很多人都想往这个方向发展,做一些像数据挖掘,数据分析之类的工作。但是该从何开始呢?要怎样才能快速学到一些有用的知识,技能呢?我觉得有三个切入点,依照个人特点可以自行选择顺序切入。
1机器学习/数据挖掘
数据挖掘主要依赖于大部分机器学习算法,近些年由于深度学习算法的开发以及无人驾驶汽车等应用的实习使得机器学习变得热门,但是机器学习是个很深的学科,专门讲这门课程的学校也不多,对于硕士生,如果学过最优化等,学起来比较容易,但本科生要学好,就要很扎实的概率论与数理统计的基础。之前我看了很多这发面的书,觉得很痛苦,但我越来越觉得,这个东西有那么重要么?我认为,如果不是博士,没必要把机器学习/深度学习学的很深。就像算法是很重要,但程序员没必要都像ACM队员那样练习算法。我们学习机器学习是为了使用他,而且基本的那几个算法已经开发的差不多了,我们最需要掌握的就是怎样使用它们,而且就那么几个算法,只有每个都用过几次就掌握了,所以我非常推荐边学边应用到实际,根据自己的兴趣,找点数据,看看能不能挖掘出什么有用的信息,这样也有成就感。这里我推荐一本书:《机器学习:实用案例解析》。同时,建议学习一门新的语言:R语言。如果不想学,那么用C,python也都是可以的。(超大规模数据是不能用R的)最后,我觉得这部分并不一定先开始学,也不用每一个算法都掌握十分熟悉,先熟练掌握一到两个。2Hadoop实战
hadoop基本是大数据的代名词了,因为他提供了一个平台,使得我们可以去处理超大的数据,至于怎么处理,处理后能得到什么,它不管。hadoop虽然只是个软件,但是有很复杂的原理,我们要知道他是怎样把大数据分不到好几个电脑上,知道MapReduce的原理。然后,就是怎样运作了。强烈建议大家自己安装好hadoop(要配置集群,自己剪虚拟机吧),然后在上面编点小程序练手。 Hadoop还有一个特点就是他有很多的附加服务,每个都有各自的功能,非常复杂,但是例如Hive,HBase等是非常重要的,也需要知道他们的工作原理,及使用方法。由于这部分大多是实战,学起来也不那么枯燥,所以我觉得这部分可以多用的点时间,把原理和方法都弄熟练,同时还要熟悉Linux环境,语言当然是JAVA。3数据库
大数据毕竟也是数据,是离不开数据库的,很多人没有有数据库的基础,那么这方面也是必不可少的,各种数据库的特点都要有所了解,SQL的语句也要能熟练使用,即便大数据不热门了,数据库技术也会很重要的。我觉得把上面3点全都做到的话,那么你肯定是一个全面的大数据人才,随便就能找个好工作了。但是我觉得数据挖掘这个东西,方法技能是一方面,还有一方面是意识层次的,也就是你对行业、商业的嗅觉有多大,你挖掘出来信息后能不能再经过自己的思考,变成对公司甚至人类有直接好处的观点。所以建议大家平时多关注互联网及其他行业的发展趋势,比较全面型的人才才是真的人才,大数据人才也不是一个普通程序员就能随便当的。
准备以后就写一些大数据方面的博文,自己学习的同时与大家分享知识是很快乐的。
上一篇: C#往SQLServer中插入大数据
下一篇: 复盘美团,9招制敌