Kafka数据节点数据映射

Data Mapping—Kafka

数据映射配置是将数据源数据与数据目的地数据关联起来的步骤，是DataPipeline产品支持多元异构场景的核心，通过图形化的配置，您可以轻松地建立不同数据节点之间的数据映射，来为数据任务的运行做准备。

关于此功能

Kafka数据映射功能分为表映射和字段映射两个部分，通过数据结构定义与数据清洗脚本，可对数据映射进行更加特异化的调整，我们将分两部分介绍数据映射。

◎ 表映射

数据映射配置--配置表映射

• 选择同步列表

• 选择语义映射规则

• 选择已有Topic

◎ 字段映射

数据映射配置--配置字段映射

• 调整字段映射内容

• 定义写入数据结构

• Kafka数据节点作为数据源时，数据映射配置不支持行级别限制读取内容。

• 当配置Kafka数据节点数据映射时，可能需要使用清洗脚本对半结构化/非结构化数据进行解析，或对数据进行清洗处理，结构转换写入数据目的地；清洗脚本的功能使用同RDBMS类型数据节点清洗脚本，详见数据映射配置-配置清洗脚本。