配置Kafka节点

Basic Configuration of Kafka Data Node

配置要求

在进行配置之前，请务必检查您的Kafka 数据节点是否符合平台要求，参考如下：

要求	详情
版本要求	1. 数据源支持0.9.x、0.10.x、0.11.x、1.x.y、2.0.x、2.1.x、2.2.x; 2. 目的地支持0.8.x、0.9.x、0.10.x、0.11.x、1.x,y、2.0.x、 2.1.x、2.2.x；
用户权限要求	具备需要进行读取topic的消费权限 具备需要进行写入topic的生产权限
其他要求	暂无

新建弹窗界面选择了Kafka节点类型之后，显示Kafka的基本信息配置模板：

• 版本：

  • 支持Kafka 0.8.x、Kafka 0.9.x、Kafka 0.10.x、Kafka 0.11.x、Kafka 1.x.y、Kafka 2.0.x、Kafka 2.1.x、2.2.x

  • Kafka 0.8.x 只支持数据目的地节点

• 服务器地址：输入连接数据源的域名或IP地址及端口值，允许输入多个地址，使用","分隔。

  • 注意：填写前需要检查kafka集群是否有别名，若有别名则需要联系DataPipeline运维人员，添加kafka别名的映射关系，并填写别名。

• ZooKeeper 地址：输入连接Zookeeper的域名或IP地址及端口值，允许输入多个地址，使用","分隔。

• Schema Registry 地址：当数据格式为avro时，需要用户输入 Schema Register地址

• 认证类型：无、Kerberos

  • Kerberos：krb5.conf、Kafka principal、Kafka Keytab、jaasConfFileld

操作步骤

新建Kafka数据节点

1. 点击数据节点列表→新增数据节点

2. 填写节点名称、描述，选择节点类型为Kafka

3. 选择节点的版本，填写服务器地址、ZooKeeper地址、Schema Registry 地址、认证类型

4. 您可以在完成配置之后点击左下角的连接验证检查信息的准确性

5. 点击保存按钮保存该页配置，进入该节点详情界面

6. 为Topic选择序列化器

7. 在数据节点详情页面，点击「Topic 序列化器」tab

8. 为Topic选择Key序列化器与Value序列化器

注意事项

• 当用户选择JSON、STRING数据格式时，必须在目的写入设置界面手动添加目的地字段和设置清洗脚本解析数据，写出映射关系，才能保证数据的正常同步。

• Kafka 0.9.x及之前的版本需要通过Zookeeper地址获取节点Topic列表，0.9.x后续版本通过Broker获取节点Topic列表，不需连接Zookeeper。