配置MS SQL Server节点

Basic Configuration of MS SQL Server Data Node

配置要求

在进行配置之前，请务必检查您的MS SQL Server 数据节点是否符合平台要求，参考如下：

要求	详情
版本要求	1.数据源JDBC模式支持MS SQL Server 2008、2012、2014、2016、2019版本; 2.数据源Change Tracking模式支持MS SQL Server 2008、2012、2014版本的单实例非只读数据库; 目的地JDBC写入模式支持MS SQL Server 2008、2012、2014版本，不支持MS SQL Server只读库;
权限要求
1.JDBC读取模式： 要求需要同步的表拥有增量识别字段，用于同步增量数据。选择的字段必须为可排序，例如数字或时间类型，推荐的字段类型一般为随数据更新而自增的字段，如：更新序列号（例: SequenceID），更新时间戳（例: UpdatedAt） 2.Change Tracking读取模式： 如果 default schema 为 dbo，可以直接授权 select 和 view change tracking 权限： grant select on schema::dbo to user grant view change tracking on schema::dbo to user 如果主体模式不是 dbo 就需要按照表为单位进行 view change tracking 的授权，比如： grant view change tracking on object::rpt.表名 to user 不支持只读数据库 3.Change Data Capture读取模式： 在为单个表创建捕获实例之前，sysadmin固定服务器角色的成员（仅在 SQL Server/Azure SQL 托管实例中）或 db_owner 必须首先启用数据库以进行更改数据捕获。这是通过在数据库上下文中运行存储过程sys.sp_cdc_enable_db (Transact-SQL)来完成的。要确定数据库是否已启用，请查询sys.databases目录视图中的is_cdc_enabled列。 4..JDBC写入模式：insert / update / delete / alter / exec / create / references / select on schema / alter any connection
其他要求
JDBC读取模式： 要求需要同步的表拥有增量识别字段，用于同步增量数据。选择的字段必须为可排序，例如数字或时间类型，推荐的字段类型一般为随数据更新而自增的字段，如：更新序列号（例: SequenceID），更新时间戳（例: UpdatedAt） Change Tracking读取模式： 1. 如果 default schema 为 dbo，可以直接授权 select 和 view change tracking 权限： grant select on schema::dbo to user grant view change tracking on schema::dbo to user 2. 如果主体模式不是 dbo 就需要按照表为单位进行 view change tracking 的授权，比如： grant view change tracking on object::rpt.表名 to user 3. SQL Server Change Tracking 不支持只读数据库 JDBC写入模式： 授予 ALTER ANY CONNECTION 权限用于处理死锁导致的任务中断

操作步骤

新建弹窗界面选择了MS SQL Server节点类型之后，显示MS SQL Server的基本信息配置模板：

• 版本：MS SQL Server 2008、MS SQL Server 2012、MS SQL Server 2014

• 服务器地址：输入连接数据节点的域名或IP地址。例如192.168.2.11或datapipeline.com

• 端口：输入连接数据节点的端口值

• 数据库名称：要求连接数据库的名称

• Schema有两个选项

  • 选项一：dbo（默认）

  • 选项二：用户可输入自定义选项

  • 允许输入多个Schema，多个Schema可用英文逗号分隔

• 用户名和密码：输入可访问该数据节点的用户名和密码

注意事项

• 使用Change Tracking或Change Data Capture初始化数据时，全量数据会使用JDBC进行全量数据同步，增量数据会根据Change Tracking或Change Data Capture同步。

• 在使用Change Data Capture模式同步数据时，不支持数据源增加列的自动化结构变化处理流程；如发生结构变化，需要您在数据库中做如下更改，保证数据不会丢失：

  1. 停止该数据表的业务增量

  2. 挂起DP任务

  3. 在数据库中停止该表的CDC进程

  4. 变更数据结构

  5. 在数据库中创建新的对该表的CDC进程

  6. 开始采集

  7. 恢复业务增量

  8. 激活DP任务

• 在使用Change Data Capture模式同步数据时，您需要确保您的数据源表有主键或唯一索引。

• 在使用CT模式进行数据同步时，建议开启MS SQL Server 中的READ_COMMITTED_SNAPSHOT参数；

  • 关闭该参数后事务隔离级别不再依赖于shared locks来控制默认的事务隔离级别

  • 开启该参数后每张表自己做自己的事务隔离级别，基于row versioning

  • 开启之后降低对锁的依赖，可以提升性能