Hive数据节点目的地映射

Setting up Multiple Data Sinks - Hive

批量配置Hive数据节点目的地映射包含对数据目的地进行批量自动映射或批量创建新表。

关于此功能

批量设置Hive数据节点目的地映射可以让您快速地在界面中建立数据源表/字段与数据目的地表的映射关系,并进行表映射和字段映射的批量配置。

操作步骤

  1. 点击批量操作中的「目的地映射」;

  2. 选择批量配置目的地映射后,您可以选择映射方式:

    1. 自动映射(默认选中):自动映射即根据数据表名称匹配表映射关系,根据字段名称匹配字段映射关系,只有完全一致时,才算匹配上。

      1. 忽略大小写默认关闭,开启忽略大小写后,匹配时表名称/字段名称忽略大小写。

    2. 创建新表

      1. 创建内表

        1. 表映射

          1. 输入临时文件路径

          2. 自定义表名:自定义表名称可以添加前缀后缀

          3. 表文件格式定义:选择文件格式(CSV、Avro、Parquet、ORC)

          4. 分区配置

            1. 分区类型:选择单值分区或范围分区

            2. 自定义分区键

            3. 分桶配置(分桶数目、分桶键)

        2. 字段映射

          1. 添加字段

            1. 可以填写字段名称,选择字段类型,选择是否非空,选择是否为主键

            2. 字段可以添加多个

      2. 创建外表

        1. 输入写入文件路径

          1. 自定义表名:自定义表名称可以添加前缀后缀

          2. 表文件格式定义:选择文件格式(CSV、Avro、Parquet、ORC)

          3. 分区配置

            1. 分区类型:选择单值分区或范围分区

            2. 自定义分区键

            3. 分桶配置(分桶数目、分桶键)

          4. 字段映射

            1. 添加字段

              1. 可以填写字段名称,选择字段类型,选择是否非空,选择是否为主键

              2. 字段可以添加多个

最后更新于

这有帮助吗?