错误队列策略

Setting up Error Queue Policy

错误队列策略是在任务运行过程中产生错误数据时，系统为保证任务稳定运行或数据传输准确性的策略配置。

关于此功能

开启错误队列策略，运行中的数据任务产生错误数据时，可以不暂停数据任务，将错误数据存储于指定节点，并记录错误堆栈信息。可有效避免因任务出现错误数据而暂停所带来的影响。

操作步骤

1. 点击错误队列存储，选择错误队列数据存储位置；

   1. 系统内置节点

   2. 外部节点

      1. 在选择外部节点弹窗中选择新建表或选择已有表

      2. 新建表：系统根据错误队列数据存储需求帮助您建表

      3. 选择已有表：您的数据库中已经有了符合错误队列数据存储需求的数据表

2. 选择是否存储错误堆栈信息；

3. 选择任务遇到错误数据后执行的策略。

   1. 根据错误数据条数多少暂停数据任务，或错误队列数据后置处理，不暂停数据任务

哪些错误会进入错误队列

• 高级清洗错误

• 非空错误

• 字段长度错误

• 主键为空错误

• 数据越界错误

实际代码文档中的错误类型：

错误信息	说明
DATA_TOO_LONG("数据过长错误")	数据超过存储的最大限度
INVALID_FORMAT("非法数据格式错误")	数据不符合对应数据的类型或格式
NON_NULL_VIOLATION("非空约束错误")	此字段数据不允许为空
NULL_PRIMARY_KEY("主键为空错误")	主键字段不允许为空值
CUSTOMIZED_CODE_ENGINE_ERROR("高级清洗错误")	脚本代码运行时报错
DATA_OVERFLOW("数据越界错误")	数据精度、标度不符合指定规则
CONSTRAINT_CONFLICT("主键/唯一索引冲突错误")	主键字段或唯一索引的字段出现重复
UNKNOWN("未知错误")	错误类型未知
INVALID_MSG("非法数据内容错误")	Float或double类型不允许为无穷大或NaN

注意事项

存储错误队列数据时，选择内部节点与选择外部节点的优劣

• 使用系统内置节点

  • 优势：

    • 系统内置节点减少配置步骤，系统代管错误队列数据，省时省心；

    • 通常情况下系统内置节点连接稳定性较外部节点高，写入失败概率更小。

  • 劣势：

    • 系统节点不会对外开放，用户无法自行查询数据；

    • 使用系统节点会占用系统部署服务器存储资源，当错误数据数据量超过1,000,000条时所有使用系统节点存储错误队列数据的数据任务将被暂停。

• 使用外部节点

  • 优势：

    • 外部节点存储错误队列数据，错误队列数据完全处于您的管辖范围内，查询数据、清空或备份历史数据操作都十分方便；

    • 外部节点不受存储空间容量限制，若需要存储的错误队列数据过多，您可自行对节点进行扩容。

  • 缺点

    • 使用外部节点可能存在连接不稳定的情况，无法写入错误数据，系统将会发出无法写入错误数据的报错，数据任务不会暂停。