配置 SFTP 节点

配置要求

在进行配置之前，请务必检查您的SFTP数据节点是否符合平台要求，参考如下：

要求	详情
版本要求	无
权限要求	登录、访问和写入权限
其他要求	无

SFTP文件读取方式是通过 SFTP 客户端进行文件读取，该读取模式支持读取 CSV、Json 类型文件的定时全量读取。 SFTP文件写入方式是通过 SFTP 客户端进行文件写入，该写入模式支持将源端数据写入SFTP目的地端的CSV、Json类型文件，并且支持写入动态文件目录。

操作步骤

1.用户点击「添加节点」按钮，弹出添加数据节点弹窗，配置节点基本信息：

• 名称

• 服务器地址

• SFTP 端口

• 用户名

• 密码

• 根目录地址

• SSH 认证文件

• 私钥口令（选填）

• 连接参数（选填）

2. 填写完基础配置信息，点击「保存」，可选择是否进行可用性校验。可用性校验后将自动跳转到节点详情页。

• 可用性校验：可以对该节点是否能连接成功以及权限进行校验，并将校验结果显示在节点详情页面的连接模式处

3.如果要使用 SFTP 作为数据源，需要补充 SFTP 源文件配置

• 自定义参数：自定义参数可以用于自定义 SFTP 数据源文件目录以及文件名，您可以通过表达式以及外部赋值的方式来定义参数，在文件名里引用参数需要用 "[$""]" 将参数转义。例如：参数名为 time 的参数在被引用时写作 [$time]。

  • 参数名称：限制50个字符长度；

  • 类型：可选数字、时间

  • 参数定义：可选表达式定义、外部赋值

    • 点击「表达式定义」，

      • 当类型选择为数字时：

        • 弹窗配置项：数字格式、自增规律

        • 数字格式：支持用Java数字格式化的方式定义数字格式，常见的格式如： 1.%d表示实际长度的十进制整型数据 2.%04d表示在前面补0的至少四位的十进制整型数据，如：0001、0002、0003...

        • 自增规律选项：自增1、请输入表达式（该选项暂时不支持）

      • 当类型选择为时间时：

        • 弹窗配置项：日期格式、自增规律

        • 日期格式：请用ISO 8601表示法输入日期格式，如yyyy-MM-dd 注意：支持用yyyy表示年份，MM表示月份，dd表示天，HH表示时，mm表示分，ss表示秒。中间允许使用’-‘以及来分隔，如：yyyy-MM-dd-HH-mm-ss。 不支持冒号'：'、空格' '、斜线'/'、反斜线'\'

    • 点击「外部赋值」：

      • 弹窗可切换tab：接口赋值、数据库赋值

        • 点击「接口赋值」： 配置项为接口赋值，支持填写URL进行接口赋值；

        • 点击「数据库赋值」： 配置项为选择节点、选表、选择字段；

          • 点击选择节点，可选择系统内已存在的节点或者新建节点，但仅允许选择一个节点； 点击选表，仅允许选择一张表； 点击选择字段，仅允许选择一个字段；

• 源文件配置：

  • 同步文件路径：输入包含子目录的文件名（如/data/[$time]/file_name）

  • 标志文件名：标志文件用于判断同步文件是否处于就绪状态。您可以自定义标志文件名，当系统读取到标志文件时，同步文件即进入就绪状态，相关数据任务可以读取同步文件；当系统未读取到标志文件时，相关数据任务不可以读取同步文件。

  • 文件类型：可选csv、json 文件配置

    • 当文件类型选择为csv时：

      • 编码方式：请输入合法文件编码的规范名称，如UTF-8

      • 字段分隔符：可选分号、逗号、列表、空格、双引号、Custom ANSI、Custom UTF8

      • 行分隔符：可选标准EOL，Custom String

      • 忽略的行数：输入忽略文件头的行数，在读取时将会忽略该几行数据

      • 文件尾：输入忽略文件尾的行数，在读取时将会忽略该几行数据

    • 当文件类型为json时：

      • 编码方式：输入合法文件编码的规范名称，如UTF-8