智能分析平台之「AI预测引擎」

观远数据已经帮助联合利华、百威英博等多家500强客户实施需求预测，有大量的零售领域数据预测经验。我们看到，500强企业之所以愿意花上百万，甚至大几百万来做ai预测项目，是基于其庞大的业务体量来评估roi后作出的选择：

一方面，高质量的数据预测确实需要专业的数据科学家和分析人员深入了解业务场景，不断迭代优化预测模型，经过长时间的锤炼才能获得；

另一方面，业务规模足够大时，一点点的预测准确度的提升都能给企业带来巨额的利润回报。

但同时，我们也意识到，不是任何企业都有这个资金实力去做此类高质量的数据预测的，并且在业务需求上也可能仅仅是想做一些初步预测来为决策提供参考。那么如何满足这类客户的预测需求，同时又能给他们提供比一般方法更优秀的预测结果呢？

这一篇我们就给大家讲讲观远数据为入门级数据分析人员准备的零售数据「ai预测引擎」。

ai预测引擎概述

了解过观远产品的朋友们都知道，观远数据在bi平台里面内置了smart etl智能数据处理模块。该模块基于spark大数据计算引擎开发，提供拖拽式、图形化的数据流开发方式，使得一般业务人员也能做专业的数据分析处理。一般的etl过程整理主要做的是数据的清洗、转换、关联、加载等操作，那观远的smart etl何以称之为智能呢？这是因为smart etl中除了支持spark本身自带的函数之外，还支持自定义的udf、udaf函数开发，具有非常强大的智能算子 扩展能力。

举个例子，如果你想挖掘商品间的潜在联系，开拓更多销售机会，你就可以使用smart etl内置的“关联性挖掘”这个智能算子来快速实现商品销售关联分析。

而「ai预测引擎」则是另一个重要的智能算子。你可以用它来做各种级别的销售预测，大到门店，小到品类，甚至sku。有了可靠的销售预测的数据，商品层面，对于鲜食类商品，可以做更为客观的订货量评估，降低报废风险的同时把握更多销售机会；对于大众消费商品，可以提供更为精准的动销天数估算，指导商品订货、补货、配货。另一方面，销售预测也可以用来指导人员排班，以及提供更为合理的销售进度评估。

「ai预测引擎」智能算子

在观远smart etl中，用户仅需要拖入一个「ai预测引擎」算子，接入事先预处理好的历史数据，然后简单配置日期字段、预测指标，以及指标聚合维度（日/周/月/季度/年）和预测周期数，便可开始预测。预测结果可以输出到数据集进行下一步的展示分析与决策支持。

「ai预测引擎」节点配置

观远数据的「ai预测引擎」主要适用于零售企业的销售预测或需求预测。上图所示只是一个极简模式的预测算子，但即便配置如此简单，对零售行业门店级别（以超市数据为例）的日商预测平均准确度达到83%（mape≈17.65%），个别门店接近90%；而细化到单门店单品类（鲜肉类）的日商预测，准确度达到84%。而在这个基础上，我们还能提供更多配置项，添加诸如天气情况、促销活动、品类级别的日期特征等外部信息，进一步提升数据预测的准确度；同时也可以提供多门店、多品类的批量预测。

架构解密

为什么如此简单的操作，便能实现还不错的销售数据预测呢？

这是因为架构层面观远数据将预测算法封装成spark udf函数，有机地融合进smart etl，成为一个可点选配置的智能算子；算法层则采用了先进的算法，并将观远数据多年沉淀的零售行业预测经验转化为相应日期特征优化配置后预置进算法包里。

如此一来，看似简单的时序预测，其实已经包含影响零售行业销售数据的周期性特征、节假日特征以及节前节后特征，这样的预测自然是要比一般时序预测方法准确度提升不少了。

未来，我们还会根据不同品类的消费特征，分别给予不同的品类特征日历，进一步提升品类甚至sku级别的预测准确度。同时，还可以增加天气作为额外特征，这样对于一些极端天气情况下的销售预测也会进一步提升准确度了。

算法解密

具体到算法层面，为什么观远的ai智能预测算法能够比市面上通用的预测算法在预测准确度上再提升一个层级呢？

首先我们来看一般时序预测工具中常用的arima模型(autoregressive integrated moving average model）。它是一种结合自回归与移动平均方法进行预测的模型，要求时序数据是稳定的，或者通过差分化后是稳定的，一般来说很难符合现实数据的情况。与之类似的还有garch模型等传统时序方法，大都只能进行单变量的建模，局限性较大。

近年来涌现出更多复杂时序模型，以便解决实际业务中的复杂情况。例如比较有代表性的tbats的预测模型，结合了box-cox转换，趋势拟合，arma建模，周期性分析等复杂技术手段来进行建模预测。它实际上是一种状态空间模型（state space model）的算法实现，类似的还有隐马尔可夫模型，rnn等也都属于此类。这类模型主要限制是参数繁多，计算量大，在大规模时序预测时往往需要花费很大的计算成本实现。

那零售行业现实状况是怎样的呢？我们不妨先来看看零售数据本身具有的一些特征：

趋势特征： 一般销售数据在一个比较长期的时间范围内，具有整体增长或下滑的趋势特征。

周期特征： 销售数据具有明显的周期性和季节性。

非规律性的节假日特征： 节假日及节假日前后对销售数据有显著影响。

各类外部因素影响： 促销活动、天气、搜索指数、销售指标等因素也会显著影响销售数据。

数据稀疏性： 一般零售行业的sku，门店等维度的组合会非常巨大，但每个组合中的时序数据数量往往比较有限。

基于直观的理解，我们就可以发现简单的arima模型与复杂的状态空间模型对于零售数据的预测都有一定的局限之处。而观远数据则是根据具体的业务数据情况，结合使用高效的广义累加模型和状态空间模型，统筹考虑零售时序数据的趋势性、周期性，并加入对节假日及促销、天气等可预测波动因素的分析，给出综合预测结果，可以说这是一个专门为零售预测而生的算法模型！

预测结果呈现

观远数据对预测数据呈现做了定向优化，对实际数据与预测数据进行了颜色和线型的区分，并添加了预测数据的置信区间，提供时间轴的缩略展示。

「ai预测引擎」数据展示

小结

本文给大家介绍了集成在观远bi平台内的「ai预测引擎」功能的架构设计与算法实现方案。事实上，观远数据提供的「ai预测引擎」解决方案不仅仅是引入了先进的ai预测算法，更是将多年沉淀的、符合本土日历特征的零售数据预测经验预置进了算法模型里面，同时结合bi平台，给出了数据接入、整理、预测到展现的端到端整体解决方案。有兴趣了解更多的朋友赶快联系我们试用哦！

下一篇我们将给大家介绍更多观远数据在ai领域的落地案例与应用效果，欢迎持续关注！