规则配置

本文以文本审核服务为例,介绍如何设置规则。

1、进入文本审核-规则配置页

开通内容审核-文本审核功能后,规则配置页面中会有默认规则,各类会话场景下均提供了默认规则。

2、点击操作-更多-编辑,进入编辑规则窗口

如果需要审核单聊里的文本消息,则可编辑单聊文本规则,群聊、聊天室均同理。

以单聊文本为例,编辑规则窗口如下:

规则中的字段详细介绍如下:

字段 描述
规则名称 审核规则的名称,为审核规则的唯一标识,不能超过 32 个字符。
会话类型 会话类型指审核规则生效的范围,包括:单聊会话、单个、多个或所有群聊会话和聊天室会话;例如,选择单聊,则表示是应用下单聊的所有文本消息会按照规则审核和处置。
启用规则(规则开关) 是否启用审核规则。打开后规则生效,关闭则规则不生效。
消息处理 • 审核结果为拒绝时消息处理策略,包括:拦截、替换为 ***、通过;
• 审核结果为疑似时消息处理策略,包括:拦截、通过;
• 审核服务调用失败时消息处理策略,包括:拦截、通过;
• 消息拦截后客户端是否报错,包括:报错、不报错。
审核模型 内容审核支持多场景模型,可按需选择;文本审核仅有1个通用违规内容审核模型,包含策略:涉政&违禁&暴恐&色情&辱骂&广告&灌水&无意义;详见 内容审核模型策略。
用户处理策略 默认不处理。开启后,可以设置时间间隔、触发次数和用户自动处理的策略,触发后将对用户进行自动处理,详见 应用内用户管理章节。

3、检查【消息处理】的设置,按需调整

内容经过审核后,审核结果会出现 4 种情况(通过、拒绝、疑似,调用失败),支持按业务需求设置每种情况下的消息处置策略:

  • 审核结果为拒绝:表示发现违规内容,建议拦截。
    • 支持 3 种处置策略:拦截、替换为 ***、通过。
    • 拦截:即不会下发消息。
    • 替换为:表示会把敏感词替换为** 后再下发消息。说明:如果是智能语义识别出违规,不会返回违规敏感词,因此这种情况无法实现替换***时,会按拦截处理。
    • 通过:即下发消息。如果处于测试阶段,模型还没有调整至完全符合业务预期时,可选择该设置,即审核结果不会对消息产生影响;如果审核效果测试符合预期后,建议选择 拦截替换为***,即可对违规消息进行合理处置。
  • 审核结果为疑似:表示可能存在违规内容,通常这部分内容如果有人工审核,建议人工再次审核。
    • 支持2种处置策略:拦截(即不会下发消息)和通过(即下发消息)。
  • 审核服务调用失败:表示审核服务没有在一定时间内返回审核结果,即认为调用失败;例如文本审核接口超时时间为 200 毫秒,若该时间内未返回审核结果,则视为异常。通常认定为异常会有3种原因,一是没有调用权限,二是返回时间超时,三是服务出现异常。
    • 支持2种处置策略:拦截(即不会下发消息)和通过(即下发消息)。
  • 审核结果为通过:表示未发现违规内容,默认下发消息,无需设置。
 当消息被处置为**拦截**后,客户端会返回错误码:508,应用可根据错误码展示提示信息。
  • 消息拦截后客户端是否报错:表示消息被拦截后,发送方是否要感知到消息发送失败
    • 是(报错):即发送方会感知到消息发送失败(如下图示例);
    • 否(不报错):即发送方不会感知到消息发送失败(即不会出现感叹号提示);如果应用内违规内容较多,建议选择,以避免违规用户感知到被拦截后频繁尝试变体违规内容。

4、点击启用规则

规则状态默认是不启用。点击启用规则后,规则立即生效,表示文本消息会按该规则配置进行内容审核。

5、点击确定

点击确定后,即规则修改保存成功。

所有经过审核的内容可在 历史记录 页面查看。