配置OSS数据节点表映射

Setting up table mapping--OSS

配置OSS数据节点表映射是在界面中建立数据源表层级结构与数据目的地表层级结构的映射关系，建立表层级结构映射关系后，才能对其中具体数据内容、数据字段映射进行配置，以完成映射配置。

关于此功能

• OSS数据节点作为源节点时，DataPipeline支持使用参数来自定义动态目录名，将文件格式相同、文件名有一定规律的一组文件作为一个表来进行表映射，该定义在文件类型数据节点配置中完成。

• OSS数据节点作为目的地节点时，DataPipeline支持使用参数来自定义生成动态目录名。支持利用系统参数以及系统函数来组成表达式定义目录名，同时也可以直接引用目的地参数来定义动态目录名。

• OSS数据节点作为目的地节点时，DataPipelin支持按文件大小对文件进行切分，当用户设置了文件大小上限后，如果写入文件超出文件限制，系统将会按照文件上限生成多个文件，按照生成顺序以自增数字的形式从1开始添加文件名后缀。OSS数据节点作为目的地节点时，DataPipelin支持对文件写入时间进行限制，当用户设置了写入时间上限后，如果该批次写入时间超出写入时间上限，系统将会按照写入时间上限将读取到的数据写入文件并进入下一批次。

操作步骤

1. 点击表映射按钮，切换至表映射Tab。

2. 点击数据源按钮，切换至您需要配置的文件类型数据目的地。

3. 点击选择同步列表按钮，选择数据源中您需要同步的文件目录。

4. 选择完成后数据目的地将会展现对应行。

5. 文件类型数据目的地支持新建表。 点击创建新文件，输入目的地文件目录，定义文件类型，配置相应文件类型的文件配置

   1. csv文件：目的地节点需要配置编码方式、字段分隔符、行分隔符、转义字符、文本围栏。

   2. avro文件：目的地节点支持写入avro文件。需要配置压缩格式。

   3. parquet文件：目的地节点支持写入parquet文件。需要配置压缩格式。

   4. 支持利用系统参数以及系统函数来组成表达式定义目录名，同时也可以直接引用目的地参数来定义动态目录名。 注意：在引用参数定义动态目录名时需要用"[$""]"来将参数转义，如：参数名为time的参数再被引用时写作[$time]