推荐系统架构简介 博客分类: 推荐系统 推荐系统
程序员文章站
2024-03-16 11:11:28
...
上游
- 用户上传小视频,后台将视频写入数据库,生产侧根据视频内容生产首帧图和封面图
- 对视频内容进行审核,确认播控相关信息(是否可播、分端播控、地域播控、是否可推荐等)
- AI离线生成各种特征信息,例如封面图质量得分,封面图清晰度得分,内容质量得分等
•Corpus侧
- 每天一次全量任务,Join维度信息,生成大宽表
- 业务方从大宽表读取数据,按照入场规则进行过滤,生成相关的业务表(即业务推荐池)
- 生成PB文件推送给引擎
- 每天实时增量任务处理增量视频,通过Kafka队列给下游(画像、引擎、算法)消费
•算法
- 离线训练产生各种模型,生成模型对应的信息并以文件的形式提供给引擎使用
- 离线扫描corpus表,生成各种倒排,供召回使用,生成视频特征正排,供引擎排序使用
- 设置多样性控制策略,供引擎做多样性控制
•引擎
- 内存加载PB文件,根据时间回溯Kafka消息,确保corpus数据完整,回溯完毕后使用最新corpus数据
- 接收到用户请求后,从用户画像获取兴趣,执行个性化召回(兴趣召回,相似视频召回等)和非个性化召回(新视频召回、热点召回、保量召回等),共30+路召回,3000+候选视频
- Check(推出历史记录过滤,视频下线,地域播控等)后根据模型和视频特征进行粗排,取top 1000后进行精排(相比粗排使用更多特征和更复杂模型),取top300,再结合多样性控制阶段1(打散),取top40,然后多样性控制阶段2,取top10返回给调用端,回写推出记录
推荐阅读
-
推荐系统架构简介 博客分类: 推荐系统 推荐系统
-
推荐系统的常见推荐算法的性能比较 博客分类: 推荐系统 推荐系统svdknn协同过滤
-
ELK 日志分析系统 博客分类: ELK架构 ELK日志架构
-
NMF和SVD在推荐系统中的应用(实战)
-
自动推荐图表、智能分析,这个新出的数据分析工具有点酷! 博客分类: 信息化数据分析系统数据分析系统,案例,商业智能 商业智能
-
应用系统架构设计 博客分类: 软件工程 设计模式应用服务器UI数据结构ASP.net
-
hadoop_AVRO数据序列化系统_简介 博客分类: HaDoop学习笔记AVRO数据序列化系统 Avro简介avro数据模式
-
Java同学找工作最懵圈的问题:到底啥是分布式系统开发经验?(推荐)
-
推荐一个比较好的开源的企业产品网站的内容管理系统解决方案
-
实时公交位置系统的实现 博客分类: 架构相关 GPS算法redisjava架构