工作日交易数据的闪电快速分析
程序员文章站
2023-08-31 19:58:50
在本文中,我们将分享在为事务性数据构建高度可伸缩的多租户分析服务时所吸取的教训。我们将从大局和业务需求开始。然后描述具有用于数据准备、发布和查询引擎的批处理和交互式模块的体系结构,并注意相关的Spark技术。然后我们将深入Prism查询引擎的内部,重点介绍所使用的Spark SQL、DataFram ......
在本文中,我们将分享在为事务性数据构建高度可伸缩的多租户分析服务时所吸取的教训。我们将从大局和业务需求开始。然后描述具有用于数据准备、发布和查询引擎的批处理和交互式模块的体系结构,并注意相关的spark技术。然后我们将深入prism查询引擎的内部,重点介绍所使用的spark sql、dataframes和catalyst编译器特性。我们将描述在编译和执行复杂管道和查询时遇到的问题,以及如何使用缓存、采样和查询编译技术来支持交互式用户体验。
资源分享https://www.slidestalk.com/s/lightning_fast_analyticsfor_workday_transactional_data_
上一篇: 不禁想起小时候笑晕过去
下一篇: 怎么拍好黄昏和夜景?夜景拍摄技巧