京东在数据挖掘方面对推荐技术的优化

京东集团高级副总裁张晨总结：京东是一家以互联网科学引领的网络零售企业，零售是它的基因，而零售最根本的是要给用户做好服务，京东可以通过技术手段把服务体验提升更多。

物流已经成为京东的核心竞争力，在今年618大促期间，有大量的商品实现了当日达，要让物流更快可以通过大数据的方式来实现，例如对某个居住小区的消费偏好进行分析，可以预先判断哪些商品最畅销，把商品放在小区附近的配送站，当有消费者下单，便可实现配送，这样能提升用户体验。

提升用户体验的第二方面，是在大数据的基础上实现的精准推送。零售企业对商品是否畅销的一个判断是周转率，而京东要实现提升周转率便是对商品的精准推送，“千人千面”产品体现的是这样的思路，京东商城研发部“推荐搜索部”刘尚堃表示：“在当前推荐位的情况下，再提升40%、50%的效能是能做到的，因为京东个性化首页产品上线的时间并不长。”

张晨认为，数据量越大，后发的价值越大，因为京东的商品大多数属于自营，货品有来源、质量有保障、交易是真实的，这些让京东成为“中国互联网企业里数据最好的公司之一，用这些优质的数据反过来服务好用户，可挖的细节太多，是一件做不完的事情。”

京东的数据主要两大类，用户行为数据和基于内容的数据。京东会根据用户的行为数据构建用户画像，比如是不是有小孩，是不是男性，在京东的生命周期怎么样，促销的敏感度如何，在家还是单位购物多，购买率的等级是什么？京东会根据用户的行为做推荐，这大多是通过离线数据计算的。此外，系统还会根据用户的实时行为进行推荐，比如判断出用户喜欢浏览牙刷的品类，喜欢电动牙刷，而且偏好声波类电动牙刷。

通过“共现矩阵”的办法，京东推荐系统可以度量商品到商品的、用户到用户的商品、商品到商品的相似指数。比如用户对某个商品的分值比较高，浏览的分值比较高，购买的分值更高。通过这些办法，可以找到比较贴近其需求和爱好的产品推荐给消费者，在这些基础算法之外，京东还会应用高级算法提升推荐的效果。

京东还会通过一些模型进行推荐，比如用户的购买力模型、周期商品购买模型、lda模型等。例如，京东现在有大量第三方商家，会存在有“一品多商”的问题，京东就会用图片相似等方法做过滤。

在排序上，京东会进行两级预估，先预估ctr（点击率），再预估cvr（转化率），由此进行排序。这是如何实现的呢？对于任何一个商品，京东都认为它具备品牌、中心词、类目、扩展属性等指标，可以用销售量来度量。每个商品和商品之间有一张购买的网，每个商品的pagerank也可以使用，这个指标不但考虑了数量问题，还考虑了网状关系，考量的指标还有评论数、好评度、浏览深度等。拿一个实际的例子来说，如果某用户购买产后塑身产品，那么孕妇装虽然有关联度，但这种关系会被剧烈地降低权重，因为逻辑上是先怀孕后生产再塑身。

京东个性化与排序平台部高级总监邹宇分享了对冷启动用户的处理方法。所谓的“冷启动”是指一个新用户，系统中没有他的行为数据。这个时候，京东做法就是根据人以群分的归类法则。比如基于社交关系推荐。当然如果这些没有，可能找更粗的人群分群的方式，比如性别、年龄、地域。当然最极端的情况下，完全没有，那就根据最近的热点进行类别多样化精选推荐的策略，把每一类当下最流行的商品拼在一起推荐给新用户去看，这其实是试探的过程，然后根据用户的交互反馈，慢慢向用户主信息上收敛。

重视实验与监控迅速确认算法优劣

京东推荐平台部总监刘思喆介绍，在推荐系统中，京东非常重视实验与监控。京东是算法和架构分离，架构可以管顶层工程，算法就是每天尝试各种各样的特征、数据、规则，以及流量最终的效果怎么样。

京东推荐的实验系统采用了外部的页面配置。流量实时生效，而且流量比例是可以任意分配的。简单修改某一个线上实验，它的流量就可以实现秒级线上更新，第二天甚至实时可以看到结果。京东的分流策略常用两种，第一种是随机，每次刷新看到的结果可能都不一样，比如十组实验，每一版都是10%的概率呈现；第二种就是相对固定，一旦看到第一次结果之后，就保证你以后看到的结果都是这个样子。京东的实验系统支持版本回溯，算法工程师一旦出现误配，可以找回相关的版本和权限。

除了实时实验之外，京东实验系统同样有离线debug平台支持，输入参数可以是一个或多个sku，也可以是类，进行不同实验的结果召回，定位不同实验的效果。这样算法工程师可以通过自测几个小的例子，迅速找到自己的算法，在没有切流量之前问题在哪，或者到底好在什么地方。

持续优化迭代提升推荐系统价值

刘思喆认为，算法优化必须逐步迭代。不可能忽然上一个很牛的算法保证效果提高50%，工程师之间的相互交流有助于提高算法优化效果。

而通过数据的挖掘，京东也会发现，某些用户从来不点任何推荐，不点任何广告，也就是对这个东西完完全全不感冒。那可能京东也有可能对该用户隐藏推荐系统。“用户如果能深度地参与到推荐系统里面来，当然可能是无意识的，这时推荐系统才真正做到了极致。”

邹宇认为，京东大数据的价值越来越大。举例来说，互联网展示广告的点击率通常能到千分之一就不错了，转化率更低，通常是万分之几。但京东的搜索转化率高于这种广告转化率的几个数量级，因此，京东的数据会有越来越高的价值，京东的推荐系统在推动业务成长方面的作用也将越来越重要。