日志策略

Setting up Logging Strategy

日志策略是指任务配置变更时，任务报错信息以日志形式记录，方便用户查询的策略。

关于此功能

DataPipeline会收集并记录数据链路的配置变更、状态变更等信息，持久化于系统内部Elasticsearch节点，并提供日志页面查看功能。

操作步骤

1. 点击策略配置按钮进入策略配置tab；

2. 检查日志数据回收时间是否合理，并更新配置；

3. 选择是否输出日志文件至服务器目录；

4. 指定日志输出文件的字段分隔符，系统默认为制表符（/t）。

• 为了避免日志数据占用存储过大导致的系统稳定性问题，DataPipeline默认日志数据回收时间为30天，请谨慎配置日志回收时间，对于重要数据链路，请将日志数据回收时间拉长，并为ES节点所在服务器提供更大的存储空间，以免数据被回收后查找不便。

• 数据链路中会显示关联数据任务的日志。

• 如您选择日志输出至系统webservice组件宿主机目录，您可使用外部日志采集工具（如ELK），统一采集并管理日志；当DataPipeline为多节点高可用部署模式时，多个webservice可能会在不同的宿主机中产生多份日志，多份日志需要合并处理。