LinkedIn李玥:存储大数据成本高,考虑多平台
程序员文章站
2022-06-26 12:52:28
4月29日消息,大数据挖掘对企业来说可能并不全是机遇,还意味着财政支出,原因是针对大数据存储或者挖掘的成本也很高。在2013 Teradata大数据峰会上,LinkedIn商业分析高级经理李玥接受So...
4月29日消息,大数据挖掘对企业来说可能并不全是机遇,还意味着财政支出,原因是针对大数据存储或者挖掘的成本也很高。在2013 Teradata大数据峰会上,LinkedIn商业分析高级经理李玥接受Sohu IT采访时表示,企业投入在大数据存储上的成本并不低。因此,很多企业会同时考虑多个解决方案。
以LinkedIn为例,该公司就同时使用了Teradata的解决方案和Hadoop的解决方案。这样做的原因在于,大部分数据的价值密度很低,如果全部使用Teradata来存储,那么成本就会很高,而Hadoop是公认的成本比较低的解决方案。
CSDN总编刘江向搜狐IT表示,类似于Linux开源,基于Hadoop开发的公司也很多,他们可以为用户提*品。通常来讲,Hadoop的解决方案会便宜一些。
这就要求对涉及到大数据类工作的企业进行筛眩比如,对LinkedIn来说,其报表数据分析对公司来说尤其重要。于是,该公司绝大多数的报表在后台都是用Teradata数据仓库来支持的。这部分报表要准时发出去给商业代表,而商业代表则要根据数据来做相关的决策,而且很多新功能也是通过Teradata Aster大数据探索平台开发的。
据李玥介绍,这些报表数据具有舞台效应,如果有一个延迟,后面的就会全部延迟。而在LinkedIn中,绝大多数的数据是先要从高度可靠Teradata系统里面读出来,读到LinkedIn的数据挖掘的平台上面,然后再用已有的这些统计上的工具来进行这些数据挖掘的工作。