数据中台：从0-1，智能数据服务平台(DMP)实践
一、 为什么做？
1.1 行业背景
互联网下半场人口红利过后，互联网行业新客获取成本变得非常高，从早期的几十块一个有效新客变成上百元每人，用户运营从过去粗放式的广撒网，向精细化运营、精准营销转变。 新的流量洼地越来越少，企业一方面要做到精准获客，另一方面也要使出浑身解数提升用户留存，最大化挖掘用户价值。
1.2 需求场景
用户特征分析：了解产品或营销活动用户群体特征，产品设计或营销投放充分考虑目标用户的特点，设计出更符合贴合用户的产品功能，或投放更精准的用户群。
用户实时触达：用户在浏览或使用产品的过程，针对满足特定条件的用户实时触达，如用户在浏览多个商品都没有下单，给用户弹出优惠券派发弹窗或其他刺激下单的影响手段，或针对进入页面的新客派发新客礼包等，在用户行为路径中，增加触点交互，提升用户交互体验，并促进用户转化。
用户召回：对于生命周期处于预流失、已流失等阶段的用户，进行短信推送、app push等，通过红包激励手段，召回流失用户
精准分流：产品功能迭代ab或营销活动投放，基于用户地域、性别等标签属性，进行流量的精准分层运营’
客户关怀：生日关怀、会员福利、服务受损用户关怀，通过用户标签圈选目标用户后，进行站内触达或短信推送。你身份证生日当天，是不是也收到了各家银行或航空公司的祝福短信了呢？
产品智能：基于不同群体属性或兴趣偏好的用户，差异化展现产品形态，比如对于学生、务工、商务、出游等不同用户群体，提供差更符合对应用户习惯的产品风格或服务。
1.3 业务痛点
用户分层能力弱：标签迭代速度跟不上业务发展速度，用户画像偏基础通用标签，对特定业务场景的个性化需求支撑能力不够，例如：要对近期参与裂变分享的用户进行激励，已有标签体系很难覆盖该需求
标签生产周期长：新增标签需求需要业务提需求给数据pm，数据pm转化后提交数据开发（离线、实时），开发按照业务逻辑清洗好数据后，导入平台，若没有做标签上线流程的配置化，此时还需要前端开发介入，整个流程耗时长，平均需求产生到上线耗时一周左右。
标签口径不一致：用户画像、精准营销平台人群圈选、算法特征都会涉及到用户或商品标签，各个系统存在标签同义不同值、同值不同义的问题，导致标签复用度低、重复建设带来的成名和资源浪费，这也是中台要重点解决的问题。
数据服务出口多：对于数据部门会提供各种各样的用户或订单维度的api、kafka、hive表等数据服务，服务出口多，这些服务的业务价值、接口调用情况监管困难，上游数据及下游业务应用的血缘链路缺失，带来服务下线、异常管理困难，经常会出现一个接口不知道谁在调用，也一直不敢下线，最后成为僵尸接口。
业务运营靠经验：一般精准营销平台强调基于标签圈人的能力，什么样的用户适合推什么样的产品，提供什么样的服务，靠运营同学人工操作，基于经验或数据分析，确定特定场景下的人群标签条件，圈选后进行后续营销动作。
1.4 产品目标
- 提供数据源接入及管理功能，将数据开发线下对接开发流程线上化、自动化
- 建立完善的用户、商品标签体系，提供人群圈选、场景配置能力，标签生产流程配置化，业务自助配置取代数据开发、前端开发
- 标签、人群服务输出，以api或数据推送方式为用户营销、产品运营提供服务
- 管理应用注册及调用信息，构建完整的数据链路血缘
- 融入算法推荐能力，实现人货场精准匹配
- 用户群体：产品、运营
二、 怎么做？
2.1 需求调研分析
b端产品需求调研方法的核心原则就是找到典型用户了解其业务背景及工作流程，挖掘和创造需求。很多pm往往会停留在仅是找到用户，问一下“你当前做这个工作哪里不方便，有什么痛点问题我们可以帮你解决啊，然后就等着业务提需求了”。
举个例子，用户运营需要对访问app首页、处于流失预警期的用户，触发红包弹屏，涉及哪些环节和工种呢？这个时候就需要搬个小板凳，在各个工种之间，让他们把工作的环节去演示一遍，发现卡点和问题。
针对用户运营需要了解的问题：
- 过去半年主要做过哪些运营活动，场景的清单可以提供下吗？(历史需求分析)
- 当前运营主要kpi以及未来业务重点是什么？（业务方向了解，潜在需求挖掘）
- 当前工作流程是什么样的，耗时多久，最影响效率的是哪个环节？
- 如果有一个工具可以帮你更快、更好的达成kpi，你希望是什么？
- 日常运营工作中，最常用的用户、商品标签有哪些(先了解基础需求，再做分类、扩展)
针对数据开发：
- 实时、离线标签处理流程是什么，用到哪些平台和工具？
- 当前开发耗时最多的是哪个环节？
- 哪些步骤是可以通过平台实现
2.2 产品功能设计
基于业务场景调研结果和行业竞品分析(腾讯广点通、阿里达摩盘等)，可以初步梳理平台架构如下：
（1）数据管理
目标：提供数据源接入及管理流程，为标签配置化生产提供数据源支持
功能要点：实时数据源、离线数据源，包括数据源管理列表（增、删、改、查、权限申请）、新增数据源流程、数据质量监控、下游标签应用统计
（2）标签管理
目标：提供标签生产及使用流程，新增标签无需开发介入，产品或运营可自助完成
功能要点：标签列表(增、删、改、查、权限申请)，基于标签体系的层级展示和标签统计逻辑查询；标签新增流程（基于数据源及业务逻辑，可视化配置标签）；权限申请流程；生命周期管理；数据预览；服务输出。
标签体系建设过程要充分结合业务过程和运营场景需求，以电商行业为例，用户标签体系可以分为基础属性、行为属性、消费属性、营销属性、服务属性、风控属性等几个一级分类，详细示例见下表：
（3）人群管理
目标：提供基于标签圈人的能力，精准圈定目标人群进行分析或数据输出
功能要点：人群列表，新增人群流程（圈选、excel等自定义上传、sql语句）、人群画像、人群输出(接口或场景配置)
（4）场景管理
目标：对接营销、产品推荐、产品智能，实现“人货场”精准匹配
功能要点：场景列表（场景增删改查）、新增场景流程、数据监控、服务输出(api拉取、kafka、推送、hdfs文件、excel输出等)，多人群场景；实时/离线/延迟；这个过程数据部门要和业务侧紧密沟通，因为很多公司的营销通道或用户触达资源是掌握在业务开发手中，需要沟通确定双方职责边界，并形成决议，减少重复造*。
除支持单一人群营销外，可以基于业务场景以流程化的方式进行精细化运营，例如某ota业务需要对站内流量做交叉引流，给购买了机票、火车票等出行服务的用户推荐酒店产品和优惠券，这个业务过程涉及到多个人群，场景模块的产品设计要能比拆分多个单人群更高效。
此外，从服务性能方面，多人群场景只需要请求一次接口，而传统单人群场景也要每个场景都进行一次接口调用，会影响产品页面的加载性能。多场景配置是基于人群、判断节点、过滤节点、营销策略等不同组件构建一个流程图，覆盖访问用户的各种精细化分群目标，流程产品设计参考下图：
（5）效果分析
目标：基于埋点规则、ab系统统计目标场景用户转化效果，实现目标选择、营销触达、效果分析的闭环，不断优化运营策略。
功能要点：对接弹屏、app push、红包、短信、产品推荐等不同位点，需要和业务侧定义好埋点规则，转化效果统计规则，如认为触达用户后，用户在x时间内产生了订单转化，记为有效转化。
（6）服务管理
目标：统一管理数据服务输出下游，监控调用流量，及时下线无效调用
功能要点：api 使用token申请&审批流程，api应用流量监控、服务熔断/降级策略
（7）系统功能
目标：提供用户权限管理及审计能力，保障数据安全
功能要点：用户权限管理、审计日志、消息中心、帮助中心、产品首页、工单审批流程等平台公用能力。若公司已有相应组件，可接入复用
三、做的怎么样？
经过项目推进后平台顺利上线投产使用，那该如何评价产品是否成功？智能数据服务平台本质是平台+智能，平台主要从应用价值，营销成本降低和频次的增高，智能方面，更多评价算法和运营经验之间的ab效果对比。可以参考的指标如下：
四、小结
dmp是一个比较大的数据管理与服务平台，要完整细致地介绍需要很大篇幅，本次主要从需求背景、产品实施流程、产品功能设计等偏宏观的角度系统化的介绍，其中项目管理、用户画像标签设计、产品运营等环节涉及不多，后期文章中会逐步整理分享给大家。