内容审核

更新日期:2022 年 4 月 24 日

在使用环信 IM 服务时,您可以使用 IM 内容审核服务对消息内容进行多样化场景检测,帮助您对应用消息内容进行管控,规避内容违规风险。

产品功能描述

内容审核提供多种功能帮助客户定义消息审核规则:

  • 多消息类型审核:文本、图片、音频和视频消息类型均支持审核;
  • 多维度细分消息:支持按单聊、群聊、聊天室维度细分消息,满足业务不同消息场景下设置不同审核规则的需求;
  • 自定义消息处置规则:针对消息审核结果,支持客户定义消息下发或拦截的策略,保障消息下发结果满足业务需求;
  • 消息审核结果可回调:支持将消息审核结果回调至客户服务器,便于用户同步审核结果数据、满足业务侧后续处理需求;
  • 一站式内容审核后台:提供可视化的内容审核后台,支持查询审核记录、审核数据统计、自定义名单服务等功能,帮助客户一站式管理消息审核业务。

满足业务多场景的审核模型检测需求:

  • 智能文本识别:可识别涉政文本、违禁文本、暴恐文本、色情文本、辱骂文本、广告文本和垃圾内容,提供自定义词库检测;
  • 智能图片识别:可识别涉政图片、违禁图片、暴恐图片、色情图片、广告图片和图片中违规文字,提供自定义图片检测;
  • 智能音频文件识别:可识别涉政语音、违禁语音、暴恐语音、色情语音、辱骂语音、广告语音和娇喘语音;
  • 智能视频文件识别:可识别涉政视频、违禁视频、暴恐视频、色情视频、辱骂视频、广告视频和 LOGO 水印。

7 天免费试用

  • 首次开通服务提供 7 天免费试用期,帮助客户充分测试并了解内容审核产品效果。

零集成成本,开通即用

  • 针对支持的消息类型审核,无需客户集成,开通服务即可使用,节省大量的开发和维护成本。

个性化设置消息审核策略

  • 支持客户设置个性化消息审核规则,更有一对一人员支持客户调整审核模型的效果,保障消息审核结果满足业务需求。

全面的内容审核方案

  • 深入不同行业审核场景,提供高效、精细、全面的个性化内容审核方案。

社交平台

  • 识别单聊、群聊中文本消息、图片消息、音频消息、视频消息中的涉政、色情、辱骂、暴恐、广告导流等风险内容,净化应用内聊天环境。

直播聊天室

  • 识别聊天室消息或直播弹幕中的涉政、涉黄、暴恐、广告导流等风险内容,支持实时识别,降低聊天室运营成本。

游戏互动

  • 实时识别游戏公屏聊天消息中涉政、涉黄、暴恐、广告导流等风险内容,对风险内容进行有效管理,避免用户损失。

1、开通内容审核服务

  1. 登录环信即时通讯云后台,选择 即时通讯 > 服务合规 > 内容审核,进入 内容审核 页面,点击 立即开通

  1. 首次开通需填写 公司名称邮箱、和 手机号,用于接收内容审核服务相关通知,填写完成后点击 确定

  1. 系统进行服务开通配置,需等待几秒,开通成功后弹出内容审核配置页面。

说明:首次开通提供 7 天免费试用期,自服务开通当天开始计算。

2、配置消息审核规则

开通服务后,IM 提供通用内容审核规则,默认为停用状态;如需审核特定类型的消息,点击 编辑 对规则进行相应修改,然后点击 启用,使该规则生效。

下面以单聊文本为例介绍如何配置审核规则:

  1. 点击单聊文本规则的 操作 一栏中的 编辑 链接。
  2. 选择合适的审核模型:至少需勾选 1 个模型。
  3. 设置消息处置选项。

审核结果 描述 消息处置
通过 表示未发现违规内容。 下发消息。
拒绝 表示发现违规内容,建议直接拦截。 拒绝发送消息。用户可设置是否下发消息:
- (默认)通过:下发消息。当测试阶段需要验证审核模型是否符合业务预期而无需对消息产生影响,可采取该设置。
- 撤回:拦截消息。若审核模型确认满足业务需求,需对上消息生效,则采用该设置。
疑似 表示可能存在违规内容,建议人工审核。 用户可设置是否下发消息:
- (默认)通过:下发消息。
- 撤回:拦截消息。
异常 表示审核服务调用失败。
例如,文本审核接口超时时间为 200 ms,若该时间内未返回审核结果,则视为异常。
用户可设置是否下发消息:
- (默认)通过:下发消息。
- 撤回:拦截消息。

针对以上 4 种审核结果,若消息处置结果为 撤回,消息拦截后返回错误码:508MESSAGE_EXTERNAL_LOGIC_BLOCKED,用户可设置是否提示错误信息:
- 报错:服务在消息内容前面显示红色感叹号,提示发送方消息发送失败;
- 不报错:服务不提示消息发送失败。

  1. 点击 确定 保存当前规则设置,然后点击 启用,使该规则生效。

3、测试消息审核效果

通过 SDK 端或者调用 REST API 接口发消息,均可测试消息审核结果和发送处置是否符合业务预期。

如需调整审核效果,点击 去内容审核后台 或联系商务经理加入内容审核服务支持群协助解决。

如何接入内容审核服务?

  1. 登录环信即时通讯云后台,选择 即时通讯 > 服务合规 > 内容审核,打开 内容审核 页面。
  2. 点击 立即开通。开通成功后,进入规则配置界面启用相应规则即成功打开内容审核服务。

哪些消息类型支持审核?

文本消息、图片消息、语音消息和视频消息均支持内容审核服务,开通即用。

消息发送前还是发送后审核?

文本和图片在发送前审核,审核速度可达毫秒级,审核完毕会根据规则设置判断是否下发;

音频和视频文件的审核时间相对长些,因此在发送后审核,即先发送消息,然后进行审核,如有违规立即撤回。

内容审核是否支持免费试用?

首次开通内容审核服务,提供 7 天免费试用期,自服务开通当天计算。

免费测试期间存在并发量限制,以下为具体限制和超限说明:

项目 并发量上限
文本消息 160 QPS
图片消息 100 QPS
音频消息 40 QPS
视频消息 20 QPS
音频流检测 300 路
视频流检测 200 路

并发量超限规则如下:

  • 若未超限,则免费测试期为 7 天 ;
  • 若测试期 1-3 天内超限,客户只能享受 3 天的免费测试,自第 4 天起计费;
  • 若测试期 4-7 天内超限,自超限当天起计费。