住院 4 天：我意识到医疗系统最大的问题不是 AI 而是失控

一、从一次手术说起：这不是医疗问题，而是系统问题

前段时间，我因为一次意外摔伤，接受了桡骨骨折手术。

从医学角度看，这只是一个标准化程度较高的外科手术：影像诊断、手术复位、内固定、术后观察、康复训练。路径清晰、流程规范、风险可控。

但当你真正躺在病床上，成为这个系统中的“被处理对象”时，你的体验却完全不同：

• 你每天被抽血，但不知道检测目的• 你拿到检查报告，但无法理解指标含义• 医生查房解释病情，但信息高度压缩且专业化• 康复过程在推进，但你无法量化自己的恢复进度

你会逐渐意识到一个问题：

这不是单纯的“医学知识门槛”，而是一个更深层的系统问题。

---

二、重新定义问题：医疗系统的“控制权缺失”

我们先把情绪抽离，用工程思维重新建模这个问题。

---

2.1 医疗系统的真实结构

从信息流与控制流的角度，现代医院可以抽象为三层：

代码语言：javascript

复制

决策层：医生（基于经验 指南 数据）执行层：护理系统 医疗设备记录层：HIS / EMR / LIS / PACS

患者的位置在哪里？

代码语言：javascript

复制

患者：系统外输入 / 输出对象

---

这是一个非常关键的结构性问题：

---

2.2 信息与控制的分离

在这个系统中：

• 数据是完备的• 决策是专业的• 执行是规范的

但：

进一步：

---

这导致一个典型的系统缺陷：

代码语言：javascript

复制

信息闭环存在，但用户闭环缺失

---

三、从 DevOps 到医疗：一个熟悉的问题

如果你有 DevOps 或复杂系统经验，这个问题并不陌生。

在早期运维体系中，也存在类似问题：

• 系统运行状态复杂• 指标难以理解• 故障原因不透明• 操作风险不可控

后来我们引入了：

• 可观测性（Observability）• 自动化（Automation）• 流水线（Pipeline）• 策略控制（Policy）

这些改进，本质上解决了一个问题：

---

那么问题来了：

---

四、AI 的误解：能力问题，还是系统问题？

很多人第一反应是：

确实，从能力上看，现代大模型（LLM）已经具备：

• 医学知识理解能力• 报告解读能力• 语言生成能力• 推理与总结能力

例如基于 Transformer 架构的模型，可以通过医学语料训练，具备类似“解释医生语言”的能力。

---

4.1 但问题不在“能不能做”

关键问题在于：

---

在医疗这种高风险场景中，问题从来不是：

代码语言：javascript

复制

AI 能不能做？

而是：

代码语言：javascript

复制

AI 是否被允许做？AI 的行为是否可控？AI 的决策是否可审计？

---

4.2 大模型的本质问题

从系统角度看，大模型具备三个特性：

1. 概率性输出（Non-deterministic）2. 不可完全解释（Limited Explainability）3. 上下文依赖（Context-sensitive）

这三点，在医疗场景中是“天然风险源”。

---

五、关键缺失：AI 不缺能力，缺的是“Harness”

这里我们引入一个关键概念：

---

5.1 什么是 Harness？

在工程领域，Harness 的本质是：

在 CI/CD 中：

• Pipeline 是 Harness• 策略引擎是 Harness• 回滚机制是 Harness

---

5.2 医疗系统中的缺口

当前医疗系统具备：

• 强执行（手术、治疗）• 强知识（医生经验）

但缺乏：

---

换句话说：

代码语言：javascript

复制

医疗系统 = 执行强 决策强 控制弱

---

六、引入 AI Agent：但不是你想的那种

很多人理解的 AI Agent 是：

• 聊天机器人• 智能助手• 自动问答

但在这里，我们需要的是另一种 Agent：

---

6.1 Agent 的核心能力

一个真正可用的医疗 Agent，必须具备：

1️⃣ 状态建模能力（State Modeling）

• 病例历史• 手术记录• 检查指标趋势

---

2️⃣ 解释能力（Interpretation）

• 指标含义解释• 医嘱翻译• 风险提示

---

3️⃣ 推理能力（Reasoning）

• 当前状态 vs 标准恢复路径• 异常检测• 趋势判断

---

4️⃣ 记忆能力（Memory）

• 长期记忆（病例）• 短期上下文（住院过程）

---

这些能力，本质上对应的是：

代码语言：javascript

复制

LLM Memory Tool State

---

七、为什么仅有 Agent 是危险的？

这是一个必须强调的结论：

---

原因很简单：

• Agent 可以生成建议• 但建议可能是错误的• 错误在医疗中不可接受

---

这就引出一个核心约束：

代码语言：javascript

复制

AI ≠ 决策者AI = 辅助理解者

---

八、医疗 Harness 的设计原则

如果我们要设计一个医疗控制系统（Harness），它必须满足以下条件：

---

8.1 权限分层

代码语言：javascript

复制

L1：信息解释（AI可自动）L2：建议生成（需医生确认）L3：决策执行（仅医生）

---

8.2 风险控制

• 高风险操作必须人工审批• AI 不得直接修改医疗行为

---

8.3 审计机制

• 所有 AI 输出可追溯• 所有建议可解释

---

8.4 可回退性

• AI 参与不改变核心医疗流程• 可随时“降级为纯人工系统”

---

九、一个完整的医疗 AI 架构

结合上述内容，我们可以构建一个完整系统：

---

代码语言：javascript

复制

患者输入 ↓AI Agent（理解层） - 数据解释 - 状态建模 - 风险提示 ↓Harness（控制层） - 权限控制 - 风险评估 - 审计机制 ↓医疗系统（执行层） - 医生决策 - 护理执行 - 医疗设备

---

关键在于：

---

十、回到体验：为什么你会感到“失控”？

现在我们可以重新解释最开始的问题：

---

你在医院的焦虑，并不是因为：

• 手术• 疼痛

而是因为：

代码语言：javascript

复制

你失去了对系统状态的认知能力

---

进一步：

代码语言：javascript

复制

认知缺失 → 不确定性增加 → 焦虑

---

AI 的价值，不是替代医生，而是：

---

十一、这个问题的普适性：不只是医疗

这个结构问题，其实存在于所有复杂系统：

行业	问题
电商	订单状态不透明
物流	路径不可见
运维	系统状态复杂
制造	生产黑盒

---

统一表达为：

代码语言：javascript

复制

系统在运行，但人无法理解

---

十二、未来系统的三层模型

未来的复杂系统，将统一为：

代码语言：javascript

复制

理解层（AI Agent）控制层（Harness）执行层（System）

---

医疗只是最极端的场景，因为：

• 风险最高• 容错最低• 合规最严格

---

十三、结论：问题不在 AI，而在系统结构

我们可以用一句话总结全文：

---

更进一步：

---

十四、下一步

在下一篇文章中，我们会继续拆解：

我们将从数据结构、语义表达和认知接口三个层面，进一步深入分析。

---

最后一句

本文参与腾讯云自媒体同步曝光计划，分享自微信公众号。原始发表：2026-04-21，如有侵权请联系[email protected] 删除