资源组配置
Setting up Resource Group
资源组配置是任务执行过程中对数据源读取和数据目的地写入的资源管理功能。
关于此功能
在部署DataPipeline时,通过修改配置文件,可以将数据源端/目的地端的服务器资源划分为多个资源组,实现业务资源组解耦。
操作步骤
在部署DataPipeline时,前往路径/data/datapipeline/dpconfig/;
修改配置文件resource_group_config.json;
配置项说明groupName
资源组名称,用于系统调用标识
displayName
资源组显示名称,用于前端选择
memory
分配给资源组的内存数量
memoryUnit
内存单位
cpu
分配给资源组的cpu核数
nodes
资源组对应节点地址列表
表格19 资源组配置文件字段说明表
保存修改后重启服务,使配置文件生效;
在数据任务基础配置页面,为数据源配置资源组;
您可切换数据目的地节点,分别为不同的目的地节点设置资源组。
下一步
激活数据任务最后更新于
这有帮助吗?