配置 Hbase 数据目的地节点字段映射
配置字段映射是在界面中建立数据源表中字段与数据目的地表中字段的映射关系,建立字段映射关系后,数据才能被准确的从数据源同步至数据目的地。
关于此功能
因在配置数据映射时可以在数据目的地选择已有表或新建表,配置字段映射也会根据表映射中所选内容而改变。
操作步骤
点击数据映射-表映射-选择已有表,跳转至字段映射tab;
通过高级清洗定义rowkey字段的生成逻辑;
在每一行的数据目的地字段列中选择数据目的地表的字段:
您可以为每一个数据源字段选择一个匹配的数据目的地字段;
您可以为每一个 HBase 目的地字段分配列族
如数据目的地没有您需要的数据表,您可以点击「创建新表」,跳转至字段映射tab:
系统将根据已选的语义映射规则自动的为您创建目的地字段与字段属性;
若您对数据目的地表进行了更改,可以点击刷新表按钮刷新目的地表结构;
您可以修改数据目的地名称与字段属性;
在需要新建表的场景中,修改完字段映射后,点击「创建目的地表」,系统将在数据目的地建表;
建表需要创建表权限;
系统提供导出建表语句功能,您可在创建目的地表弹窗点击导出建表语句按钮以导出建表语句;
通常情况下,生产环境建表需要您公司DBA创建表。
在配置数据目的地字段映射过程中,可以为清洗脚本输出的数据预留字段。
预留字段的映射没有相应的数据源字段信息;
预留字段字段名称需与清洗脚本输出数据的 scheme 中的列名称保持一致。
注意事项
修改表映射关系会影响使用该映射的相关数据任务,修改后相关数据任务将被暂停,需要您手动启动任务
完整准确的字段映射是准确进行数据同步的基础,您需要谨慎操作
新增同步列表中内容不会影响已有数据映射,与使用已有数据映射的数据任务
字段映射中的ROWKEY需要通过高级清洗编辑生成逻辑赋值
最后更新于
这有帮助吗?