首页
看点啥
插画图片
首页 看点啥 DataWorks Data Agent 的演进及工程化实践

DataWorks Data Agent 的演进及工程化实践

2026-07-07 0

导读: 过去几年刚建成的数据平台,今天正加速沦为“传统基础设施”。当Agent开始主导数据的构建、分析与消费,企业数据平台普遍陷入困境:对上层AI的支撑力不从心、价值链地位被动、预算持续承压。
本文系统梳理DataWorksDataAgent从Copilot辅助→人机协同→AI自主驱动的三阶段演进路径,深入解析覆盖数据开发、运维诊断、自主治理与ChatBI的四类智能体产品体系,并首次公开内部架构迭代与云端全托管工程化实践。Agent是否已为规模化落地做好准备?答案取决于企业是否愿意将规范、知识与最佳实践,系统性注入智能体的演进闭环。

认知跃迁:数据智能体演进的三个阶段

从2023年开始,DataWorks的智能化能力建设经历了三个递进的阶段。

第一阶段是Copilot模式。工具仅作为辅助,完成SQL补全、生成等操作,人依然是主导方。这种模式下效率天花板明显,观测数据显示大约能提升30%到35%的代码编写效率。

第二阶段是人与AI协同。这是当前所处的阶段,效率提升幅度从30%到100%不等。Agent在这个阶段逐步取代传统SaaS的GUI操作,提高人操作工具的效率。

第三阶段将由AI完全主导。人只需委派任务,AI自主编排和执行,人仅做结果检查、review和最终决策。效率提升可能达到十倍甚至百倍级别,人在AI角色中的比重会持续减少。

产品矩阵:四类智能体覆盖数据全链路

DataWorksDataAgent并非单一功能,而是建立在整个服务层之上。模型层提供Qwen系列、GLM系列,以及针对NL2SQL场景微调的专家模型,同时支持客户独立部署自有模型。智能体层提供了四类Agent:数据工程(ETL开发)、数据治理、数据分析(ChatBI)、集群管控与运维优化,全面覆盖数据生产与消费链路。同时用户交互层则提供多种交互形式。

场景一:数据开发的全流程自动化

传统ETL高度依赖人工编写代码,周期长、效率低,且依赖资深工程师,新人上手门槛高。还有一个常被忽略的问题:规范落地。即便企业建立了开发规范,依赖人来执行时,很难保证每位工程师都严格遵循,交付质量参差不齐。

DataAgent在数据开发中实现的是基于需求文档驱动的全链路自动化。用户只需用Markdown格式描述需求,Agent自主进行任务编排、生成任务代码、完成调度等任务配置、做检测,然后发布上线。

实战示例:直播订单数仓开发中,Agent可基于需求自动规划ODS→DWD→DWS→ADS全链路,明细层/汇总层/应用层通过不同引擎进行计算,全程遵循湖仓规范,人工仅需抽查确认即可发布。

场景二:任务运维诊断从被动响应到主动响应

数据运维长期面临的问题是被动响应,尤其是半夜被告警叫醒的场景。DataWorksDataAgent的诊断能力覆盖任务全周期,无论任务是未运行、已运行还是运行报错,Agent都进行多维度的关联分析,给出结构化诊断报告,并提供相应的修复建议和快捷修复操作。整个问题分析和解决过程通过自然语言对话完成。

场景三:数据治理的“自主式”闭环

没有经过治理的数据无法被正确消费。传统数据治理面临四个典型问题:数据资产难发现、难理解,表多口径多,找表和理解数据成本高;治理依赖人工经验,规则、策略、动作都依赖专家,难以规模化;治理过程碎片化,元数据、质量、计算优化各自独立,缺乏协同;治理效果难持续,停留在一次性专项,缺少持续闭环。

Agent的介入重构了治理范式:

场景四:ChatBI的敏捷数据分析

在数据消费侧,DataAgent提供了面向分析的ChatBI能力。ChatBI提供快捷问数和深度分析两种模式。如果只是查询一个指标,快捷模式更省token,速度更快。如果要做归因分析、趋势分析或更复杂的分析,则使用深度分析模式。深度分析模式底层调用更强的AI能力,配套更强的模型,不仅仅给出洞察,还会给出相应的行动建议,最终生成完整的数据报告。

架构迭代的三个阶段

该系统的Agent架构在过去两三年里经历了三次显著的变化。

第一阶段基于Dify构建。主要做AIWorkflow编排,流程相对固化,Agent的自主性较弱,但生态比较丰富。

第二阶段切换到AgentScope。这是阿里开源的一个Agent框架,主打多Agent协同。框架灵活性高,适合做探索性、实验性的Agent开发,但生态相对没那么丰富。

第三阶段切换到基于QwenCode和OpenClaw的双引擎架构。QwenCode和CloudCode这类代码Agent在开发者端效果出色,但它们定位是面向开发者,严格来说不算框架,要变成企业级产品需要做大量工程化工作。OpenClaw的特点是支持多渠道IM对接,而且是“养成系”Agent,可以持续打造AI人设,实现越用越好用,但企业级能力相对较弱。

DataWorksDataAgent2.0:云端全托管的工程化实践

面向开发者的CloudCode和QwenCode通常装在个人电脑上,无法7×24小时工作,在企业场景还面临安全、风控、合规的挑战。DataAgent2.0基于QwenCode打造了一个云端全托管的形态,提供云端沙箱环境,Agent可以7×24小时持续工作,连接企业生产系统。在安全合规方面,权限审计做了专门的工作。

交互形态上,该系统提供了四种模式。

ChatUI模式:标准的自然语言对话界面。

CLI模式:Web终端交互,适合开发者和极客用户。

远程控制模式:通过扫描二维码,手机上可以打开与电脑端一致的Agent界面,整个会话和执行过程同步,类似于苹果的接力功能,让手机承接PC端的Agent操作。

IMChannel模式:类似OpenClaw的模式,支持通过钉钉、飞书、企业微信接入。

AI助理服务:安全可控的龙虾运维助理

基于OpenClaw构建的AI助理服务,主要定位为任务运维AI助理。工程化上解决了几个企业级关键问题:

实际使用中,当任务失败发出告警时,告警会主动推送到AI助理服务。用户收到消息后,在IM端可以直接完成问题诊断、根因分析和任务修复,不需要打开电脑。一个典型场景是:让AI助理服务查找失败的任务实例,它会提示失败原因(如资源组过期),由于资源组已经修改,可以直接重跑该实例。

案例:淘宝闪购的落地效果

在阿里内部,淘宝闪购业务与DataWorksDataAgent合作落地。传统的人工加IDE工具的数据开发模式,流程割裂、人工操作多,一个需求开发周期需要数小时至数天。核心问题是:效率低下,重复性工作多;规范执行困难,靠人工记忆容易遗漏;质量保障不足,缺乏系统化检查;知识复用困难,经验难以沉淀。

切换到DataAgent模式后,实现了端到端智能化开发,覆盖全流程。通过扩展自定义Skill和业务知识库,数据需求开发周期从12到23个小时缩短到5到10分钟。规范通过Skill和Workflow自动执行,确保一致性;质量保障通过系统化检查和规范策略实现;知识和最佳实践沉淀在Skill和知识库中持续复用。

DataAgent带来的不是单纯的工具升级,而是改变了数据平台的工作方式。当需求开发从天级降到分钟级,当数据治理从运动式变成自主闭环,数据平台本身的价值链条也发生了变化。Agent是否已经为规模化落地做好准备,取决于企业是否愿意将规范、知识和最佳实践注入这些智能体的演进过程中。

喜欢(0)

上一篇

TK 矩阵多店铺数据隔离存储架构 跨境海量订单素材低成本分层存储策略

TK 矩阵多店铺数据隔离存储架构 跨境海量订单素材低成本分层存储策略

下一篇

Nat. Med. | 哈佛医学院 罗氏 与 浙江大学联合发布COMPASS:可泛化AI预测跨癌种 跨治疗的免疫治疗响应

Nat. Med. | 哈佛医学院 罗氏 与 浙江大学联合发布COMPASS:可泛化AI预测跨癌种 跨治疗的免疫治疗响应
猜你喜欢