配置MongoDB节点

配置要求

在进行配置之前，请务必检查您的MongoDB 数据节点是否符合平台要求，参考如下：

要求	详情
版本要求	MongoDB Java Drivers连接模式、Change Stream读取方式支持3.6、4.x、5.0版本
权限要求	MongoDB Java Drivers读取模式：需要的权限有find和listColletions，用于查询数据及获取集合列表 Change Stream读取模式：需要的权限有find、listCollections和changeStream，changeStream用于获取集合的增量数据。
其他要求	Change Streams读取模式只支持在副本集或分片集群中打开，集群需要开启Read Concern "majority"（适用于4.0及之前版本，4.2及之后版本不要求）。在分片集群中，必须为mongos路由打开Change Streams操作。存储引擎要求是WiredTiger存储引擎。

操作步骤

1. 新建弹窗界面选择了MongoDB节点类型之后，显示MongoDB的基本信息配置模板：

• 版本：3.6、4.x、5.0

• 部署模式：支持单机部署、Replica Set 副本集、Sharding 切片

  • 选择单机模式：填写对应单机的服务器地址和端口

  • 选择Replica Set 副本集：需要填写副本集名称以及对应的多个副本服务器地址和端口

  • Sharding 切片：需要填写每个mongos对应的服务器地址和端口

• 认证方式：无、用户名/密码、SSL、Kerberos、LDAP

  • 选择用户名/密码：需要填写可访问该数据节点的用户名和密码

  • 选择SSL：

    • 可选SSL模式：None、System CA/Atlas Deployment、Server Validation、Server and Client Validation、Unvalidated

  • 选择Kerberos：需要填写Principal，具体配置请参考官方说明：https://docs.mongodb.com/manual/core/kerberos/#principals

  • 选择LDAP：需要填写可访问该数据节点的用户名和密码

• 数据库：要求连接数据库的名称

2. 填写完基础配置信息，点击「保存」，可选择是否进行可用性校验。可用性校验后将自动跳转到节点详情页。

• 可用性校验：可以对该节点是否能连接成功以及权限进行校验，并将校验结果显示在节点详情页面的连接模式处\

  • MongoDB节点的连接模式：\

    • 读取模式：

      • MongoDB Java Drivers读取模式通过MongoDB Java Drivers 读取源端数据，该读取模式支持定时增量同步和定时全量同步。

      • Change Stream读取模式通过Change Streams订阅集合上所有数据的更改来读取增量数据，该读取模式支持实时增量同步。

    • 写入模式：\

      • MongoDB Java Drivers写入模式通过MongoDB Java Drivers driver将数据写入目的地端。

3. 如果您想用该MongoDB节点做为数据源节点，则必须完成MongoDB源读取配置

• 基于MongoDB数据库中集合无结构的特性，MongoDB集合作为源时系统提供了两种解析方式：无结构和固定结构

  • 无结构：适用于同步文档结构不一致的集合，该解析方式将默认源集合有两个字段：_id和fullDocument，其中，_id为主键字段，fullDocument字段类型默认为json，可以通过高级清洗来具体定义。

  • 固定结构：适用于同步文档结构一致的集合，您可以选择按照第一条文档的结构进行解析或者是上传样例结构文件进行解析，系统将按照您选择的文件默认解析三层，在字段映射部分显示该解析结果的字段。

• MongoDB源读取配置模块显示通过该节点连接信息连接上的所有集合信息，在不进行配置的情况下，所有表作为源表时解析逻辑都为「无结构」

• 您可以勾选多张表进行批量设置解析逻辑，也可以通过搜索功能检索集合名从而快速找到需要同步的集合。

• 注意：当任务选中该表后并开始运行后，暂停任务并修改MongoDB源读取配置暂时无法同步下发到任务。如果您想修改源集合的解析逻辑，需要新建链路和任务。