配置Kafka数据节点表映射

Setting up table mapping--Kafka

配置Kafka节点表映射是在界面中建立数据源表层级结构与数据目的地表层级结构的映射关系，建立表层级结构映射关系后，才能对其中具体数据内容、数据字段映射进行配置，以完成映射配置。

关于此功能

• Kafka数据节点作为数据源或数据目的地时，数据往往是半结构化的，存储数据格式通常包含JSON、Avro、XML等

• DataPipeline数据采集组件读取半结构化数据后，需要对数据进行解析，提取数据元素；数据加载组件写入半结构化数据时，需要指定写入数据结构

• Kafka数据节点中，存储的数据是经序列化后的数据，读取该部分数据时，需要对数据进行反序列化，反序列化过程将使用您在数据节点配置中选择的序列化/反序列化器；同样的，在写入Kafka数据节点时，需要对数据进行序列化，序列化过程将使用您在节点配置中选择的序列化/反序列化器。

• 通常情况下，Kafka Topic 中Key与Value都可以写入数据，配置序列化器/反序列化器也是根据每个Topic的Key、Value进行区分。

• 在向Kafka数据节点写入数据过程中，DataPipeline可以帮助您使用页面定义写入数据结构，您也可以使用清洗脚本功能，使用代码逻辑定义写入数据结构。

操作步骤

1. 点击表映射按钮，切换至表映射Tab。

2. 点击数据源按钮，切换至您需要配置的Kafka数据目的地。

3. 点击选择同步列表按钮，选择数据源中您需要同步的数据表层级结构。

   1. 选择完成后数据目的地将会展现对应行。

      1. Kafka数据目的地支持选择已有Topic。

      2. 点击字段映射按钮，进入字段映射页面进行字段映射配置。

• 完整准确的表映射是准确进行数据同步的基础，您需要谨慎操作。

• 新增同步列表中内容不会影响已有数据映射及使用已有数据映射的数据任务。

• 修改表映射关系会影响使用该映射的相关数据任务，修改后相关数据任务将被暂停，需要您手动启动任务。

下一步 数据映射配置--配置Kafka数据节点字段映射。

配置Kafka数据节点表映射