在清洗脚本中使用数据源元数据

Use data source metadata in data cleaning scripts

关于此功能

在清洗脚本中，我们支持通过访问系统提供的方法获取数据源元数据数据进行数据处理。

public Map<String, Object> process(Map<String, Object> record, DpRecordMeta meta)

在Record与Matadata中，分别可以获取数据记录与数据的元数据信息，元数据信息包括数据源表中字段类型、精度、标度与数据源表每条数据的DML标识。

在上述接口中获取到的数据源元数据，是系统获取数据源元数据的缓存结果，如上游发生字段类型、精度标度等变化，需要在数据映射页面点击「刷新」按钮，刷新数据源元数据。

注意事项

• 当前版本仅Kafka目的地支持获取数据源源表字段类型、精度、标度。

• 当数据源字段类型中精度需要进行调整时，建议您将精度从较小的值调整至较大的值，以避免数据目的地在写入数据时发生数据格式校验不通过，这部分数据将被写入错误队列，供您后续处理。

所有数据目的地均可获取数据源表每条字段的DML标识。