欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  移动技术

今日头条“灵犬反低俗”升级:100倍*数据量

程序员文章站 2022-05-26 18:00:58
7月31日消息,近日今日头条宣布推出新版“灵犬反低俗助手”,添加了对图片和文本识别。这一代“灵犬”训练数据集总量是1.2...

7月31日消息,近日今日头条宣布推出新版“灵犬反低俗助手”,添加了对图片和文本识别。这一代“灵犬”训练数据集总量是1.2个t,相当于20倍百度百科或100倍*的数据总量,包含920万个样本,准确率提升至91%。

据介绍,新版“灵犬”重点拓展了反低俗识别类型和模型能力,现已覆盖图片识别(反色情低俗、反血腥暴力)和文本识别(反色情低俗、反暴力谩骂、反标题党)。后续还将支持语音识别和视频识别。

在文本识别领域,新版“灵犬”同时应用了“bert”和半监督技术,训练数据集包含920万个样本,准确率提升至91%。在图片识别领域,“灵犬”采用深度学习作为解决方案,在数据、模型、计算力等方面均做了针对性优化。

2018年3月28日,今日头条首次上线“灵犬”,支持检测文字和文章链接。2018年5月16日,“灵犬”增加反色情短文本模型和反谩骂模型,将准确率从73%提升至82%。2019年2月20日,“灵犬2.0”正式上线,除了反色情低俗模型,加入反暴力谩骂和反标题党模型,覆盖了主要的低俗低质内容类型,整体识别准确率接近85%

截至2019年6月,灵犬反低俗助手的使用人次已经超过了300万。