欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

推荐系统架构简介 博客分类: 推荐系统 推荐系统 

程序员文章站 2024-03-16 11:11:28
...

 上游

  1. 用户上传小视频,后台将视频写入数据库,生产侧根据视频内容生产首帧图和封面图
  2. 对视频内容进行审核,确认播控相关信息(是否可播、分端播控、地域播控、是否可推荐等)
  3. AI离线生成各种特征信息,例如封面图质量得分,封面图清晰度得分,内容质量得分等

•Corpus侧

  1. 每天一次全量任务,Join维度信息,生成大宽表
  2. 业务方从大宽表读取数据,按照入场规则进行过滤,生成相关的业务表(即业务推荐池)
  3. 生成PB文件推送给引擎
  4. 每天实时增量任务处理增量视频,通过Kafka队列给下游(画像、引擎、算法)消费

•算法

  1. 离线训练产生各种模型,生成模型对应的信息并以文件的形式提供给引擎使用
  2. 离线扫描corpus表,生成各种倒排,供召回使用,生成视频特征正排,供引擎排序使用
  3. 设置多样性控制策略,供引擎做多样性控制

•引擎

  1. 内存加载PB文件,根据时间回溯Kafka消息,确保corpus数据完整,回溯完毕后使用最新corpus数据
  2. 接收到用户请求后,从用户画像获取兴趣,执行个性化召回(兴趣召回,相似视频召回等)和非个性化召回(新视频召回、热点召回、保量召回等),共30+路召回,3000+候选视频
  3. Check(推出历史记录过滤,视频下线,地域播控等)后根据模型和视频特征进行粗排,取top 1000后进行精排(相比粗排使用更多特征和更复杂模型),取top300,再结合多样性控制阶段1(打散),取top40,然后多样性控制阶段2,取top10返回给调用端,回写推出记录
相关标签: 推荐系统