简介Hadoop集群技术在优酷土豆的应用

　　为了更好的实现个性化视频推荐，2009年，优酷土豆开始使用hadoop大数据平台来进行数据的分析及挖掘。起初整个平台平台只有十多个节点，而到2012年集群节点已经达到150个，2013年更是达到了300个。但是随着数据量的急剧增加以及业务的迅猛发展，每天优酷处理的数据量已突破200tb，优酷土豆的技术人员发现一些场景并不适合利用mapreduce进行处理。
　　优酷土豆的大数据平台已使用多年，核心业务数据量的增长与数据处理速度的失衡成为优酷土豆hadoop大数据平台的一大瓶颈。这个问题主要表现在三个方面：首先，在bi方面，分析师提交任务后需要等待很久才得到结果。其次，在进行一些模拟广告投放之时，在调优、筛选方面的计算量十分大，对计算效率的要求也较高，用hadoop消耗资源过大而且响应较慢。同时，mapreduce在机器学习和图计算的迭代运算方面不仅需要耗费大量资源，处理速度也不尽人意。
　　优酷土豆集团大数据团队大数据平台架构师傅杰介绍道：“虽然很多互联网企业都在用mapreduce来处理自己的业务，但是由于优酷的视频量大概在2亿的级别，视频的关系量目前在10亿的级别，这个级别的数据量利用mapreduce来计算cpu资源消耗比较高，而计算效率比较低，单纯依靠mapreduce框架已经无法满足视频推荐、广告投放效果预估等情景对实时性和准确性的要求。”

　　
优酷土豆如何打造hadoop平台
　　目前傅杰老师主要负责优酷土豆集团大数据基础平台建设，以支撑集团其他业务团队的存储与计算需求，包含hadoop平台、日志采集系统、实时计算系统、消息系统以及天机镜系统等。据了解，hadoop平台在优酷的发展，主要有以下几个阶段：
　　平台搭建期：这个阶段主要解决一些技术问题，比如安全问题、整体规划，以及制定相关流程；
　　平台发展期：这个阶段主要是在集团内部进行推广，伴随着会遇到各种各样的需求，以及解决各种各样的问题，修正相关流程，使平台进入一个稳定、高可用的水平；
　　平台稳定期：这个阶段主要是从优化资源入手，内部培训调优作业，统计资源消耗合理性，构建自动化优化流程。
　　“现阶段我们主要在调研hadoop1.x 到hadoop2.0的升级方案，预计明年初对hadoop进行升级。今年我们也搭建了基于storm的实时计算平台、kafka消息系统，推广到集团的线上业务中，也逐步流程化的运营起来了。”傅杰老师介绍说。
　　新手如何入门hadoop?
　　据傅杰老师介绍，目前hadoop在国内有很好的发展态势，各大企业对hadoop的需求也比较旺盛，同时，应用hadoop的行业也越来越多。但目前存在的问题是，hadoop的优秀技术人才比较短缺。那么对于想踏入hadoop领域的新手来说，应如何入门呢?
　　傅杰老师给出的建议是：
　　1.经常关注hadoop官方网站;
　　2.深入了解hadoop原理，比如hdfs、mapreduce。并思考目前所在企业哪些应用可以用hadoop解决;
　　3.阅读hadoop相关书籍。据悉，目前傅杰老师翻译的《hadoop实战手册》将在年底出版，这本书也很适合新手阅读;
　　4.搭建环境实战，比如可以试着跑一个wordcount。

和英特尔一起spark/shark
　　为此，优酷土豆在英特尔公司的帮助下率先尝试了spark/shark内存计算框架来解决多次迭代以及复杂的算法。以计算实力著称的英特尔，在项目中在软件优化、方案设计、scala语言培训等方面给优酷土豆提供了多方面的帮助，以过硬的软实力及对整个行业的深入洞察，与优酷土豆的需求不谋而合。
　　作为典型的互联网公司，优酷土豆大数据平台主要应用在广告、日常报表、推荐系统等核心业务上。随着对低延时的、实时要求很高的应用场景的增多，spark/shark在快速报表，交互式查询，做ad-hoc的查询的表现，机器学习以及迭代式算法方面的优越性吸引了优酷土豆。spark/shark可每次将弹性分布式数据集(rdd)操作之后的结果存入内存中，下次操作可直接从内存中读取，省去了大量的磁盘io，效率也大幅提升。
　　在瞬息万变的互联网市场，用户的个性化需求越来越多，而将spark/shark集成到优酷土豆原有的大数据平台后，在用户偏好分析、top-n榜单计算等方面看到了喜人的变化。“与前几年不同，为了更加精准的为用户做出视频推荐，我们已经不再是简单的匹配视频的元信息了。计算视频与视频之间的相似关系，我们用到了图计算。利用图计算，我们将搜集到的视频图谱做聚类，然后再推荐给用户。”优酷土豆集团大数据团队技术总监卢学裕介绍道，“通过测试与对比，我们发现，计算相同规模的数据量，以前在单机上实现需要80多分钟，而在四台节点的spark集群上运算时间缩短到了5.6分钟。”
　　通过混搭的方式，hadoop与spark/shark结合的架构不仅使计算资源能够更加协调的被利用，也完善了优酷土豆的大数据分析，而重复视频推荐、刷浏览量冲击榜单的情况也减少了很多。作为国内视频行业第一家部署spark/shark解决方案的公司，优酷土豆在spark/shark方面的经验对整个视频行业有突出的价值。未来，双方也将继续进行深入合作，将整体方案进一步优化，并分享给更多行业合作伙伴，帮助他们更好的解决业务中面临的大数据挑战。