2.8.5-RC

What's new

荷风送香气，竹露滴清响。DataPipeline在6月迎来了2.8.5版本更新。

在2.8.5版本中，我们新增支持了阿里云Maxcompute数据节点、通过InfoSphere Data Replication获取Oracle增量数据；对Kafka数据节点Topic序列化器设置、数据映射配置进行了操作优化。

功能更新：

MaxCompute数据节点

2.8.5版本Datapipeline新增加了MaxCompute的数据节点的支持。该节点可以作为源及目的地。当作为目的地时支持MaxCompute在目的地创建分区表及非分区表，或者选择已有表进行数据同步。当作为数据源时增量读取及范围读取等多种读取方式，目前支持的数据类型为2.0。暂不支持MaxCompute的外表场景。

Oracle支持通过InfoSphere Data Replication获取数据

对于实时获取Oracle数据源的增量数据，DataPipeline已经支持了通过自研采集代理程序与LogMiner的数据获取方式；这些方式可以支持Linux、Windows服务器的环境。在一些客户的场景中，Oracle数据源可能在AIX环境中，通过InfoSphere Data Replication，DataPipeline也得到了采集AIX Oracle数据库增量数据的能力。

结构变化策略新增支持数据字段类型及精度标度DDL处理策略

当前DataPipeline已经支持的结构变化包含了源端删除表，源端加列和源端删列。我们发现上游还会有一些常见的DDL操作，于是我们在2.8.5新增了上游的字段类型变化及精度标度变化的DDL处理策略。我们会根据不同的数据源到不同的目的地的能力范围以及常见的字段类型变化做处理。从而更好的实时同步上游的数据变化。

功能优化：

支持 Kafka Topic 序列化器默认值设置

在过去的版本中，DataPipeline 无法修改Topic 序列化器的默认值，导致每一次新增的 Topic 都需要手动调整至所需要的序列化器。在此版本中，我们将此功能进行了优化，支持了在Kafka节点的基本设置页面中配置Kafka Topic 序列化器的默认值，使所有新增 Topic 的 Key 及 Value 都可以根据需要载入默认值，增加了便捷性和灵活度。此外，在每一次进行批量修改序列化器后，出现追加询问弹窗，使用户可以更便捷地提前对未来要添加的 Topic 序列化器进行默认值的设置。（Key 序列化器和 Value 序列化器须保持一致）

数据映射默认配置：支持创建映射时添加默认字段与默认开启高级清洗

此版本中，DataPipeline 支持了包含关系型数据节点类型等数据映射默认配置，提前设置好需要添加的字段和开启高级清洗脚本的使用，显著减少了对数据链路中未来添加映射的后续操作。通过此功能，让您能够快捷地在创建映射时向数据目的地添加默认字段与默认开启高级清洗脚本，优化操作流程，减少操作难度。

其他优化

1. 数据任务状态-自动重启中状态优化

2. 数据映射同步延迟监控日志优化

3. 数据映射元数据刷新功能优化

4. Oracle采集代理程序健康检查逻辑优化

5. InfoSphere Data Replication订阅自动重启功能优化

6. 数据任务执行配置优化

7. 增加了任务执行过程中一些相关业务metric的展示，包括时间预估，待写入的缓存的数据量和未读取数据量的统计。