配置阿里云OSS数据节点

配置要求

在进行配置之前，请务必检查您的阿里云OSS数据节点是否符合平台要求，参考如下：

要求

详情

版本要求

Aliyun OSS

权限要求

需要有 Bucket ACL 或者写入和读取权限

其他要求

无

操作步骤

新建弹窗界面选择了阿里云OSS节点类型之后，显示阿里云OSS的基本信息配置模板：
- 版本：Aliyun OSS
- AccessKey ID：必填项。请输入 RAM 账户的 AccessKey ID。
- AccessKey Secret：必填项。请输入 RAM 账户的 AccessKey Secret。
- 存储空间：必填项。请输入存储空间。
- 根目录地址：必选项，请输入绝对路径，例oss/log。
- Endpoint：必填项，请输入 Endpoint（例：http://oss-cn-hangzhou.aliyuncs.com）。
点击「保存」，跳转到节点详情页。
- 如果要使用阿里云OSS作为数据源，需要补充阿里云OSS源文件配置
  - 自定义参数：自定义参数可以用于自定义数据源文件目录以及文件名，您可以通过表达式以及外部赋值的方式来定义参数，在文件名里引用参数需要用 "[$""]" 将参数转义。例如：参数名为 time 的参数在被引用时写作 [$time]。
    参数名称：限制50个字符长度；
    类型：可选数字、时间
    参数定义：可选表达式定义、外部赋值
    点击「表达式定义」，
    当类型选择为数字时：
    弹窗配置项：数字格式、自增规律
    数字格式：支持用Java数字格式化的方式定义数字格式，常见的格式如： 1.%d表示实际长度的十进制整型数据 2.%04d表示在前面补0的至少四位的十进制整型数据，如：0001、0002、0003...
    自增规律选项：自增1、请输入表达式（该选项暂时不支持）
    当类型选择为时间时：
    弹窗配置项：日期格式、自增规律
    日期格式：请用ISO 8601表示法输入日期格式，如yyyy-MM-dd 注意：支持用yyyy表示年份，MM表示月份，dd表示天，HH表示时，mm表示分，ss表示秒。中间允许使用’-‘以及来分隔，如：yyyy-MM-dd-HH-mm-ss。不支持冒号'：'、空格' '、斜线'/'、反斜线'\'
    点击「外部赋值」：
    弹窗可切换tab：接口赋值、数据库赋值
    点击「接口赋值」：配置项为接口赋值，支持填写URL进行接口赋值；
    点击「数据库赋值」：配置项为选择节点、选表、选择字段；
    点击选择节点，可选择系统内已存在的节点或者新建节点，但仅允许选择一个节点；点击选表，仅允许选择一张表；点击选择字段，仅允许选择一个字段；
  - 添加同步文件：
    同步文件路径：输入包含子目录的文件名（如/data/[$time]/file_name）
    标志文件名：标志文件用于判断同步文件是否处于就绪状态。您可以自定义标志文件名，当系统读取到标志文件时，同步文件即进入就绪状态，相关数据任务可以读取同步文件；当系统未读取到标志文件时，相关数据任务不可以读取同步文件。
    文件类型：可选csv、avro、Parquet 文件配置
    当文件类型选择为csv时：
    编码方式：请输入合法文件编码的规范名称，如UTF-8
    字段分隔符：可选分号、逗号、列表、空格、双引号、Custom ANSI、Custom UTF8
    行分隔符：可选标准EOL，Custom String
    忽略的行数：输入忽略文件头的行数，在读取时将会忽略该几行数据
    文件尾：输入忽略文件尾的行数，在读取时将会忽略该几行数据
    当文件类型为avro时：
    Avro schema：请上传Avro schema。
    压缩格式：请选择文件压缩格式，可选不压缩、snappy。
    当文件类型为Parquet时：
    样例数据：请上传样例数据文件。
    压缩格式：请选择文件压缩格式，可选不压缩、snappy。

上一页配置 OceanBase 数据节点下一页配置TeleDB节点

最后更新于3年前

这有帮助吗？