数据链路-基本配置

Basic Configuration of Data Pipelines

数据链路基本配置是保证数据任务成功运行的基本配置，其中包括数据源配置、数据目的地配置与数据映射配置。

关于此功能

完成数据链路基本配置的基本功能模块：

• 数据源配置

  • 选择数据源

  • 新建数据源

  • 增量读取配置

  • 全量读取配置

• 数据目的地配置

  • 选择数据目的地

  • 新建数据目的地

  • 写入配置

• 数据映射配置

  • 配置表映射

  • 创建目的地表

  • 配置字段映射

  • 限制读取范围

  • 配置数据清洗脚本

新建数据源、数据目的地，详见添加数据节点。

配置数据映射，详见关系型数据节点数据映射。

操作步骤

1. 点击数据链路列表->数据链路详情，进入数据链路详情页；

2. 选择数据源节点；

   1. 可选数据源节点为已被激活的数据节点。

3. 选择增量读取方式或者全量读取方式；

   1. 增量读取方式指获取增量数据的方式，对于RDBMS类型的数据源来说，增量获取方式通常包括日志增量获取与增量识别字段增量获取。

4. 选择数据目的地节点；

5. 选择写入方式；

6. 配置数据映射。

数据映射相关配置较为复杂，我们使用另一个篇幅描述，详见关系型数据节点数据映射。

读取方式完成选择并保存后，将不允许修改，请您慎重选择。

下一步

关系型数据节点数据映射