任务执行配置

Setting up Execution Configuration

任务执行配置是通过指定同步方式，执行时间，执行方式等配置选项指定任务执行方式的配置。

关于此功能

同步方式是指定数据任务同步的方式，包括增量同步与全量同步。我们提供两种任务同步方式：

• 增量同步

  • 支持日志读取模式（CDC）；

  • 支持JDBC读取模式，通过增量识别字段获取增量数据。

• 全量同步

  • 支持JDBC读取模式，读取全量数据。

操作步骤

◎ 日志读取模式（CDC）下配置增量同步

1. 在任务详情页点击基础配置，进入基础配置Tab；

2. 找到任务执行配置栏，鼠标hover于任务执行配置右侧，查看当前配置的读取模式；

3. 确定当前为日志读取模式（CDC）后，选择增量同步；

4. 选择是否开启全量初始化；

   » 开启：即增量同步之前先进行全量数据同步，将数据目的地数据覆盖

   · 开启后，您可在下方配置每个数据目的地的全量初始化方式

   » 不开启：即直接进行增量数据同步，不对数据目的地数据进行操作

   · 此选项需要您指定增量同步读取起点

   以MySQL增量同步监听模式即Binlog读取模式为例，需要填写：

   a. Binlog Position

   b. Binlog 文件名称

   c. GTID

   · 当数据源节点在节点策略配置中开启检查点策略，您可通过系统指定同步起点，即在进行增量同步之前不进行全量同步的情况中，在日志增量获取模式下指定日志读取起点，以明确数据从哪个snapshot开始同步。

   检查点策略详见：检查点策略

5. 指定任务首次执行时间；

6. 指定任务执行方式（日志读取模式（CDC）下仅可选监听模式）。

◎ JDBC读取模式下下配置增量同步

1. 在任务详情页点击基础配置，进入基础配置Tab；

2. 找到任务执行配置栏，鼠标hover于任务执行配置右侧，查看当前配置的读取模式；

3. 确定当前为JDBC读取方式后，选择增量同步；

4. 选择是否开启全量初始化；

   » 开启：即增量同步之前先进行全量数据同步，将数据目的地数据覆盖

   开启后，您可在下方配置每个数据目的地的全量初始化方式

   » 不开启：即直接进行增量数据同步，不对数据目的地数据进行操作

   此选项需要您指定增量同步读取起点

5. 指定任务首次执行时间；

6. 指定任务执行方式（JDBC读取方式下仅可选定时模式）。

   » 指定定时频率

◎ 配置全量同步

1. 在任务详情页点击基础配置，进入基础配置Tab；

2. 找到任务执行配置栏，鼠标hover于任务执行配置右侧，查看当前配置的读取模式；

3. 确定当前为JDBC读取方式后，选择全量同步；

4. 指定任务首次执行时间；

5. 指定任务定时频率；

6. 配置数据目的地全量初始化。

• 任务暂停后，修改增量任务执行配置中的全量初始化开关、增量读取起点等配置，任务将会按照您修改后的执行配置方案重新执行，可能会覆盖已同步数据；

• 增量同步-监听模式不同数据源读取起点配置项列表 （表格18）：

  数据源	读取方式	读取起点配置
  MySQL	Binlog	Binlog Position
  		Binlog 文件名称
  		GTID
  SQL Sever	Change Tracking	Change Tracking Version
  PostgreSQL	wal2json	LSN
  Oracle	Agent	请联系DataPipeline工程师
  DB2	Agent	手动修改IBM InfoSphere Data Replication 订阅的bookmark值

• DB2数据节点作为数据源时，执行任务全量数据同步，DataPipeline将标记任务对应订阅同步方式及同步状态为refresh；

• DB2数据节点作为数据源时，执行带有全量初始化的增量数据同步任务，DataPipeline将标记任务对应订阅同步方式为mirror，订阅中每张表的同步状态为refresh；

• DB2数据节点作为数据源时，执行带有全量初始化的增量数据同步任务，DataPipeline将标记任务对应订阅同步方式为mirror，订阅中每张表的同步状态为active（即mark a table capture point）。

下一步

资源组配置