配置Redis数据节点字段映射

Setting up field mapping—Redis

配置Redis字段映射是在界面中建立数据源表层级结构中字段与数据目的地表层级结构中的字段或数据的映射关系，建立字段或数据的映射关系后，数据才能被准确的从数据源同步至数据目的地

关于此功能

Redis数据节点作为数据目的地节点时，DataPipeline支持String、Hash两种映射方式。

在Hash映射模式中，通常情况下游两种使用方式。

• 将数据源主键映射至Field_Key中，即Hash Table模式。

• 将数据源主键映射至Hash_Key中，Collum_Name映射至Field_Key，Collum_Value映射至Field_Value，即Hash 行转列模式。

您可根据实际业务场景自行选择映射方式。

DataPipeline数据采集组件读取半结构化数据后，需要对数据进行解析，提取数据元素；数据加载组件写入半结构化数据时，需要指定写入数据结构。

操作步骤

1. 点击数据映射-表映射-字段映射按钮，进入字段映射Tab。

2. 针对Redis目的地，您可以选择目的地映射方式为Hash或String。

3. 选择String模式，进入字段映射页面，将自动根据数据源生成目的地字段。

   1. 点击结构定义按钮，使用目的地字段变量与数据表信息变量对Key与Value进行结构定义。

4. 选择Hash模式，进入结构定义选择Hash类型。

   1. 选择Hash_table类型。

      1. HashKey使用数据表信息变量拼接表名称。

      2. FieldKey使用主键集合变量进行拼接。

      3. FieldValue使用数据进行结构拼接定义。

   2. 选择Hash_行转列模式。

      1. HashKey使用数据表信息变量与主键集合变量拼接表名称。

      2. FieldKey默认为字段名称变量。

      3. FieldValue默认为字段值变量。

5. 通过高级清洗向结构定义中除数据源字段变量之外的其他变量赋值。

6. 完成字段映射配置。

• 完整准确的字段映射是准确进行数据同步的基础，您需要谨慎操作。

• 新增同步列表中内容不会影响已有数据映射，与使用已有数据映射的数据任务。

• 修改表映射关系会影响使用该映射的相关数据任务，修改后相关数据任务将被暂停，需要您手动启动任务。 NoSQL类型数据节点的数据映射高级清洗功能与RDBMS类型数据节点的数据映射高级清洗功能一致，配置可参考：数据映射配置--RDBMS--配置清洗脚本。