资源组配置

Setting up Resource Group

资源组配置是任务执行过程中对数据源读取和数据目的地写入的资源管理功能。

关于此功能

在部署DataPipeline时,通过修改配置文件,可以将数据源端/目的地端的服务器资源划分为多个资源组,实现业务资源组解耦。

操作步骤

  1. 在部署DataPipeline时,前往路径/data/datapipeline/dpconfig/;

  2. 修改配置文件resource_group_config.json;

    配置项
    说明

    groupName

    资源组名称,用于系统调用标识

    displayName

    资源组显示名称,用于前端选择

    memory

    分配给资源组的内存数量

    memoryUnit

    内存单位

    cpu

    分配给资源组的cpu核数

    nodes

    资源组对应节点地址列表

    表格19 资源组配置文件字段说明表

  3. 保存修改后重启服务,使配置文件生效;

  4. 在数据任务基础配置页面,为数据源配置资源组;

  5. 您可切换数据目的地节点,分别为不同的目的地节点设置资源组。

资源组隔离可以在一定程度上保证重要任务获取独立运行资源以更加稳定的运行,资源组模型详见<资源组模型>。

下一步

激活数据任务

最后更新于

这有帮助吗?