配置Kafka节点

Basic Configuration of Kafka Data Node

配置要求

在进行配置之前，请务必检查您的Kafka 数据节点是否符合平台要求，参考如下：

要求	详情
版本要求	1. 数据源支持0.9.x、0.10.x、0.11.x、1.x.y、2.0.x、2.1.x、2.2.x; 2. 目的地支持0.8.x、0.9.x、0.10.x、0.11.x、1.x,y、2.0.x、 2.1.x、2.2.x；
权限要求	具备需要进行读取topic的消费权限 具备需要进行写入topic的生产权限
其他要求	暂无

新建弹窗界面选择了Kafka节点类型之后，显示Kafka的基本信息配置模板：

• 版本：

  • 支持Kafka 0.8.x、Kafka 0.9.x、Kafka 0.10.x、Kafka 0.11.x、Kafka 1.x.y、Kafka 2.0.x、Kafka 2.1.x、2.2.x

  • Kafka 0.8.x 只支持数据目的地节点

• 服务器地址：输入连接数据源的域名或IP地址及端口值，允许输入多个地址，使用","分隔。

  • 注意：填写前需要检查kafka集群是否有别名，若有别名则需要联系DataPipeline运维人员，添加kafka别名的映射关系，并填写别名。

• ZooKeeper 地址：输入连接Zookeeper的域名或IP地址及端口值，允许输入多个地址，使用","分隔。

• Schema Registry 地址：当数据格式为avro时，需要用户输入 Schema Register地址

• 认证类型：无、Kerberos

  • Kerberos：krb5.conf、Kafka principal、Kafka Keytab、jaasConfFileld

• Topic 序列化器：设置 Topic 序列化器的初始默认值、修改 Topic 的 Key 和 Value 序列化器（支持批量修改）

操作步骤

• 新建Kafka数据节点

1. 点击数据节点列表→新增数据节点

2. 填写节点名称、描述，选择节点类型为Kafka

3. 选择节点的版本，填写服务器地址、ZooKeeper地址、Schema Registry 地址、认证类型

4. 您可以在完成配置之后点击左下角的连接验证检查信息的准确性

5. 点击保存按钮保存该页配置，进入该节点详情界面

6. 为Topic选择序列化器

7. 在数据节点详情页面，点击「Topic 序列化器」tab

8. 为Topic选择Key序列化器与Value序列化器默认值（目前Key与Value序列化器保持一致）

• 修改 Topic 序列化器

  • 默认值设置：您可以在这里设置 Topic 序列化器的初始默认值。保存设置后，仅对未来添加的 Topic 生效。Key 序列化器和 Value 序列化器保持一致。

  • 批量修改 Topic 序列化器

    • 点击Topic前的勾选框

    • 点击「修改序列化器」

    • 批量修改 Key 序列化器 和 Value 序列化器

  • 在进行批量修改序列化器后，将出现追加询问弹窗，使您可以更便捷地提前对未来要添加的Topic序列化器进行默认值的设置。

注意事项

• 当用户选择JSON、STRING数据格式时，必须在目的写入设置界面手动添加目的地字段和设置清洗脚本解析数据，写出映射关系，才能保证数据的正常同步。

• Kafka 0.9.x及之前的版本需要通过Zookeeper地址获取节点Topic列表，0.9.x后续版本通过Broker获取节点Topic列表，不需连接Zookeeper。

• 当Kafka作为数据目的地时，DataPipeline将会按照Kafka默认hash规则，向一个Topic中的所有partition写入数据。

• 当Kafka开启Kerberos认证以及权限管理时，需要在Kafka服务器端开启对用账户的权限，授权方法如下：

  • --创建角色dp_role

    kafka-sentry -cr -r dp_role

    --给dp_role角色对test_topic的所有权限

    kafka-sentry gpr -r dp_role -p "Topic=test_topic>action=ALL"

    --把dp_role加入到azkban用户组（此为对应数据节点上keytab认证的用户）

    kafka-sentry -arg -r dp_role -g azkaba