大数据与云计算的时代
程序员文章站
2022-03-15 11:03:53
大数据(Big Data)与云计算的势头已经难以抵挡,大数据问题的出现,主要是我们现在所面临一个新的数据量级的来临:企业数据从TB到PB,个人数据从GB到TB...
大数据(Big Data)与云计算的势头已经难以抵挡,大数据问题的出现,主要是我们现在所面临一个新的数据量级的来临:企业数据从TB到PB,个人数据从GB到TB——我们对解决大数据问题的诉求来自于三点:1、生成数据的设备的增加,个人数字设备、企业计算系统产生的数据量远远超过10年前, CommVault的徐永兴说2011年产生的数据量是1996年的180倍;2、文件(非结构化数据)本身的大小发生变化,从600MB的RMVB到了30GB的蓝光1080P视频;3、企业数据量增加,造成的数据库庞大。
而云计算随着这一轮浪潮的浮华褪去,也正在显示其作为业界发展趋势的真实本质——不论云计算是否是一种新的计算形态——比如有些人认为其不过是分布式计算和按需付费的结合——单就我们希望云计算所达成的目标:跨地域、高可靠、按需付费、所见即所得、快速部署等等这些都是过去二十年IT行业所追寻的。现在我们可以说,云计算将是新的IT生态,当然,云计算正面临着大数据和混合云需求的考验。
自然而然,云计算和大数据将是未来的数据管理的一大挑战,对于云计算,在之前的文章中我们已经谈过以太网存储(IP SAN)、横向扩展、自动分层、重复数据删除以及无缝扩展的意义,但对于大数据而言,我们同样需要解决办法——与大多数宣传所谈的不同——我认为大数据不仅存在于大型企业,同样存在于中小型企业中,由于大数据可能是单体文件(非结构化数据)的庞大,也可能是来自于数据仓库等应用的结构化大数据集的庞大。