利用 DataWorks AI 助理备份实例日志至 OSS 文件系统

概述

DataWorks 平台默认对实例日志的保留时长有限，超出保留期限后日志将被自动清理。借助 AI 助理，免代码可实现实例日志的定时备份，将日志自动归档至 OSS，自定义存储周期。

前提条件

• 已开通 DataWorks 服务，并创建了工作空间。
• 已开通 OSS 服务，并创建了用于存储日志的 Bucket。
• 已开通 AI 助理功能，并完成基础配置。

适用场景

• 小批量精准备份日志
• 探索与验证期

• 备份规范还在摸索
• 首次对接新项目
• 日志摸底

• 多步骤复合任务

• "归档 + 生成清单报告 + 推送到群里"

说明：如有生产大规模日志数据备份需求，建议使用固定脚本任务实现，AI助理可用于辅助统计等。

预期效果

每日定时将高保障任务实例日志备份存储到oss中。

配置

步骤一：创建并调试任务

1. 发起指令

【实例日志备份指令】

目标：将指定项目、指定日期、优先级 3/5/7/8 的所有生产实例日志备份到 OSS。

【备份规则】

1. 存储路径：oss://ols-bucket/dataworks_agent/claw/DataWorksTaskInstanceLog/备份日期(YYYYMMDD)/实例类型/

实例类型：周期实例 / 测试实例 / 手动实例 / 补数据实例（四选一，不拓展子目录）

2. 文件名：{实例id}_{节点名}_{节点id}_{执行时间}_{业务日期}_{地域}.txt

优先从日志 SKYNET_* 环境变量取值，API 返回值兜底，取不到填 null

3. 重跑日志：全量备份，生成多份文件，后缀加 _重跑N（N 取 SKYNET_RERUN_TIME）

【执行约束】

1. 未运行实例跳过，不归档

2. 归档后校验：确保和产品页面一致

3. 推送报告：生成 HTML 报告 + 文字摘要，推送到钉钉群

2. 检查效果

1. 抽样和运维中心实例日志对比，内容一致、完整；
2. 简单核对运维中心、OSS、归档报告数量一致；
3. 检查边界范围日志数据符合预期。

3. 生成报告（可选）

步骤二：沉淀为定时任务

核对无误，将任务沉淀为定时任务或技能，设置为每日9点定时执行，将指定空间昨天执行（即业务日期为前天）的实例备份到OSS，在对应AI助理实例的「定时任务」列表中可查看。

消费

备份的日志文件，可以用于分析审计场景，访问方式除了常规在 OSS 工作台直接搜索外，也可以通过 AI 助理自然语言检索。

例如，查找指定周期任务40天前的日志。

拓展

1. 增加定时删除任务；
2. 用于备份个人DataStudio运行日志、集成日志等。