日志策略

Setting up Logging Policy

关于此功能

DataPipeline会收集并记录数据任务的配置变更、状态变更、错误队列、报错、自动重启、重新同步等信息，持久化于系统内部Elasticsearch节点，并提供日志页面查看功能。

操作步骤

1. 点击策略配置按钮进入策略配置tab；

2. 检查日志数据回收时间是否合理，并更新配置；

3. 选择是否输出日志文件至服务器目录；

4. 指定日志输出文件的字段分隔符，系统默认为制表符（/t）。

• 为了避免日志数据占用存储过大导致的系统稳定性问题，DataPipeline默认日志数据回收时间为30天。请谨慎配置日志回收时间，对于重要数据任务，请将日志数据回收时间拉长，并为ES节点所在服务器提供更大的存储空间，以免数据被回收后查找不便。

• 如您选择日志输出至系统webservice组件宿主机目录，您可使用外部日志采集工具（如ELK），统一采集并管理日志；当DataPipeline为多节点高可用部署模式时，多个webservice可能会在不同的宿主机中产生多份日志，多份日志需要合并处理。