数据任务-限制配置

Restraining Configuration of Data Integration Task

数据任务限制配置是在任务运行过程中为了保证任务运行的更加稳定的限制配置。

关于此功能

数据任务的限制配置可以被分为三类：

• 读取限制

• 写入限制

• 传输队列限制

操作步骤

1. 在数据任务详情页面点击限制配置按钮，切换至限制配置 tab；

2. 选择任务读取速率限制方式：

   » 如选择手动限制需要输入限制值。

   · 支持的单位有：行/秒、数据大小/秒。

3. 选择任务读取速并发限制方式；

4. 选择任务写入速率限制方式；

5. 选择任务写入并发限制方式；

6. 配置写入 Batch 限制：

   » 您可以通过条数、大小、时间来限制 Batch 规则，当前 Batch 写入成功后，下一 Batch 的满足条件判断归零，根据所选规则，达到任一规则上限则形成 Batch 写入。

7. 配置传输队列限制：

   » 配置传输队列缓存值限制

   · 任务开始读取数据后，单个任务默认缓存 10GB 数据（读写数据量差），用户可自定义。

   · 读写数据量差达到 10GB（最大缓存值时），根据先进先出的原则，旧数据将会被回收。

   · 当任务数据读写速率失衡，读写数据量差大于 10GB（最大缓存值）时，将会出现部分数据被回收，未能成功写入数据目的地的情况。

   » 配置传输队列最大回收时间

   · 任务开始读取数据后，单个任务默认缓存 3 天数据，用户可自定义。

   · 缓存数据达到回收时间，旧数据将会被回收。

   · 当任务数据读写速率失衡，超过回收时间的数据尚未被写入到目的地，将会出现部分数据被回收，未能成功写入数据目的地的情况。

在任务写入 Batch 限制中，当您同时配置任务级别的 Batch 设置与映射级别的 Batch 设置，映射配置将会覆盖任务配置。

下一步

数据任务-策略配置