Alluxio 帮助去哪儿网酒店数据业务最高提速300x
程序员文章站
2022-06-24 22:01:56
Alluxio是分布式的数据缓存层,独立的服务,API兼容HDFS,充分利用单机的文件缓存和层次化的数据存储方式,让上层分布式应用业务访问数据可以充分享受高效缓存所带来的性能提升。去哪儿酒店业务中,混合了大数据实时处理业务类型,也有批量数据处理业务,还有既有Hive(MapReduce)作业,也有S ......
alluxio是分布式的数据缓存层,独立的服务,api兼容hdfs,充分利用单机的文件缓存和层次化的数据存储方式,让上层分布式应用业务访问数据可以充分享受高效缓存所带来的性能提升。去哪儿酒店业务中,混合了大数据实时处理业务类型,也有批量数据处理业务,还有既有hive(mapreduce)作业,也有spark批处理作业,这些应用程序之间通过数据进行衔接,作为中间数据落盘随即被读取,小文件问题,高效率的缓存和兼容统一的数据访问模式,让新老计算框架和不同的计算模式都能充分发挥性能。
文章过长,原链接地址
微信搜索公众号【示说网】参加alluxio 2018上海 meetup 活动
上一篇: 利用ASP将HTML格式数据传输给Excel(3)
下一篇: 在Python中字典按值排序的实现方法