编辑导读：对于资讯类产品和内容内产品来说，内容审核是必不可少的环节之一。审核是对产品风险的把控，也是维护网络生态环境中重要的一环。这篇文章，作者为我们讲解了搭建内容审核系统的设计思路和流程，希望能对你有所帮助。
今年负责的APP产品涉及到内容的审核，并且针对性的做了一套内容审核系统和账号安全体系。因此总结了一些经验。
内容审核基础逻辑：
- 内容类型：文本、图片、视频、音频
- 审核类型：涉黄、暴恐、涉政、广告、垃圾违禁、辱骂自定义；主要为这几类，其他的根据具体场景添加，比如文化宗教等。
审核模块：
- 用户发送信息流程：用户登录——内容编辑——内容上传——内容展示
- 用户接受信息流程：用户登录——内容展示——互动
通过简单的流程梳理，不难看出涉及的对象有：发送用户、接收用户、内容审核（人员、管理员等）等；那么考虑设计时，有两个方向去思考：一方面，单纯考虑针对某个对象，要做什么机制处理。另一个方面，将相关联对象串联起来，考虑产品设计。
一、对于发送用户
可以通过用户的账号进行处理，用户的所有行为都能说明用户想干什么，是什么样的用户。
针对用户可以建立一套账号基础信息、用户分值系统、用户风险监控系统。
用户基础信息可以有用户年龄、性别、地理位置、设备、ip地址、使用时长、交易信息、用户发布各类信息等。用户数据是对用户进行分析的基础，有些数据可以在一定程度上反应用户信用。
用户分值系统则是通过用户基础数据进行分析，并数值化，可以按权重累加、按总分值加总均可。
比如：发布过一个违规内容的用户，则分值降低等。仅分值系统可能不够，比如分值高的用户，但是还是有可能发布不好的内容。因此需要再通过其他策略处理，比如高中低风险用户制度、黑白名单制度等。
比如：一个用户发布了一个违规内容被检测出来后，和分值解耦的另外一个平台定义其为高风险用户，该用户后续内容将多次放到人工审核机制中。
二、内容的编辑、上传
内容上传后，就是常用的先跑系统审核流程——人工审核流程——及其他申述复审流程等。
常见可选择敏感词策略有：不同类型内容选择不同。
（1）关键词：禁止关键词，一旦识别立即拦截。疑似关键词：支持更多策略，可以设置阈值，处理的方式有：疑似送审、拦截不送审、拦截加黑名单。设置的阈值指的是：设置一定数，若检测出超过一定次数后，则对应处理。
（2）黑白名单：顾名思义，黑名单一律拦截、白名单一律不检测拦截。
（3）用户频次：主要针对用户发送的方式、次数等次数进行统计，形成用户频次统计数据。根据频次可对用户进行处理：疑似送审、直接拦截、拦截加黑。
（4）黑白指纹：指纹-唯一，对内容文件通过消息摘要算法生成MD5，配置入黑名单，一旦发现相同MD5则拦截。反之白名单一样。
1. 系统审核
（1）文本
主要是关键词过滤，关键词大可分为：禁止、需审核关键词。禁止关键词：自动禁止的关键词（色情、广告等）；审核关键词：检测到比较模糊是否为违规关键词的需要进入人工审核流程。
关键词的类型分为不同类型进行检测，关键词的库做成可配置的方式，以供应对不同的场景。
（2）图片
图片的审核有几种类型：图片主体、图片动作、图片文字、图片质量、图片广告（二维码、水印等）。针对不同的检测内容，可自行配置图片审核策略。
（3）视频
视频审核和图片审核是一样的，不同的地方在于，视频的审核需要先进行截取视频某一帧画面然后再进行图片审核。不同于图片，视频还可进行音频审核。
（4）音频
音频审核最主要是两点：1.是关键词内容，音频转为文字，进行校验关键词。2.是音频动物、喘息声纹就监控，这个需要阈值管理，主要有三个区域：正常区域、疑似区域、违规区域。
（5）其他
限定符：设置字符间可忽略的字符数；例如：“黄色”为违规词，为了规避用户可能会用“黄1色”，因此在“黄色”中间加入限定符以检测。
还有正则表达式、乱码等。
2. 人工审核
（1）人工审核机制
内容给到人工进行审核主要有：各系统转发至人工审核（系统审核为疑似内容、检测为高危用户等）、随机抽样审核；
人工任务分配机制：
- 内容的分发一般来说，可以按某些类型分发给不同的审核人员。比如：内容类型（图片、文字），再比如某个类型涉黄的内容某些审核人员专门负责等等。
- 分配的时间：审核人员可能不能做到24h在线，那么未在线的时候，该类内容次日优先处理。对于某些发布者的内容，可以优先审核。
（2）人工审核系统
人工审核系统主要分为几块：
- 账号管理：超级管理员可以通过系统管理人工审核账号，包括开通、删除、权限管理等。
- 监管平台：对于人工审核的质量也需要监管。简单的监管，可以直接抽样观察+操作日志记录即可。复杂的可以深入设计，对于审核人员来说他们的KPI大都是在一定时间内完成一定数量审核。那么这样很容易忽略质量，因此交叉审核、复审是有必要的。内容被人工审核后随即一部分进入交叉审核或者给到专门做二审的部门（KPI不同），若两次审核结果不一致则需复审，复审由更高一级负责人完成。
- 人工审核平台：审核人员通过平台对图、文、音、视频进行审核。不同类型前端样式的设计也是不同的。and 许多配套功能，倍速浏览、自动播放功能等。
3. 投诉和复审
对于发布者来说，内容的审核有时候没办法做到百分百准确，那么用户可以通过申述方式进行处理。那么对于人工审核人员中，也需要有对应处理申述的后台。
三、内容展示
大家应该都懂：先展示后审核、先审核后展示，这是基础的。还有其他的展示逻辑：发布内容后先对少量用户展示，审核通过后再全量展示。而对于高敏感的内容，限制展示渠道和曝光的上限，减少影响范围。
四、对于接受者
对于接受内容的用户，可以通过他们的行为侧面分析出内容的情况。
1. 用户基础行为
观看、点评、点赞、转发等，主要关注的是点评/评论，对评论进行监控内容，若评论中有对内容的举报或其他关键词，则该内容需要进入人工审核流程关注该类内容。
转发也需要关注，大量的传播有时候可能不是好消息，一旦有一个违规内容被大量传播，很可能导致公关问题。对大量传播内容，需要高度关注。
2. 举报
用户通过举报，将内容进入人工检查阶段。
最后来一句：内容安全、审核，主要工作应该还是对内容识别，提升系统审核效率、准确度，提升人工审核效率。