AI回答采集：原始数据存储和可追溯性设计

问题背景

在AI回答采集系统中，原始回答的存储是后续分析、指标计算和复查的基础。如果存储设计不合理，数据丢失、格式混乱、无法追溯原始结果，会导致分析结论不可信。本文聚焦于如何设计一个可追溯的原始数据存储方案。

核心概念

• 原始回答：模型返回的未经处理的完整响应，包括文本、状态码、耗时等。
• 元数据：描述采集上下文的信息，如时间、平台、模型、问题、请求参数等。
• 可追溯性：能够从任意分析结果反查到原始回答，并复现计算过程。

存储格式选择

推荐使用JSON格式存储原始回答，原因：

• 结构灵活，能保留模型返回的嵌套字段。
• 易于解析和扩展。
• 支持后续字段变更而不影响已有数据。

对于文本类回答，也可同时保存纯文本副本，便于快速检索。

元数据设计

每条记录必须包含以下元数据字段：

数据库表设计

以下为示例表结构（PostgreSQL）：

CREATE TABLE raw_responses (
    id BIGSERIAL PRIMARY KEY,
    request_id UUID NOT NULL UNIQUE,
    platform VARCHAR(64) NOT NULL,
    model VARCHAR(128) NOT NULL,
    question TEXT NOT NULL,
    request_time TIMESTAMPTZ NOT NULL,
    response_time TIMESTAMPTZ NOT NULL,
    latency_ms INTEGER NOT NULL,
    status VARCHAR(32) NOT NULL DEFAULT 'success',
    error_info JSONB,
    raw_response JSONB NOT NULL,
    text_response TEXT,
    version INTEGER NOT NULL DEFAULT 1,
    created_at TIMESTAMPTZ NOT NULL DEFAULT NOW(),
    updated_at TIMESTAMPTZ NOT NULL DEFAULT NOW()
);

CREATE INDEX idx_raw_responses_platform ON raw_responses(platform);
CREATE INDEX idx_raw_responses_model ON raw_responses(model);
CREATE INDEX idx_raw_responses_request_time ON raw_responses(request_time);
CREATE INDEX idx_raw_responses_status ON raw_responses(status);

字段说明：

• raw_response：存储完整的JSON响应体，保留所有原始字段。
• text_response：提取的纯文本回答，便于快速查询和全文检索。
• version：当存储结构变更时递增，用于兼容旧数据。

版本管理策略

• 初始版本为1。
• 当需要新增字段或修改存储格式时，创建新版本，并保留旧版本数据不变。
• 在代码中通过版本号判断如何解析raw_response。
• 建议记录版本变更日志表。

可追溯性保证

1. 唯一请求ID：每个请求生成唯一ID，贯穿采集、存储、分析全链路。
2. 保留原始响应：raw_response字段存储未经任何处理的响应，确保可复现。
3. 快照机制：定期对原始数据表创建快照，防止误删或修改。
4. 审计日志：记录数据访问和修改操作。

验证方法

• 随机抽取若干条记录，对比raw_response与模型实际返回是否一致。
• 根据request_id从原始表反查到分析结果，确认链路完整。
• 模拟数据版本升级，验证旧版本数据仍可正确解析。

常见问题

1. 数据重复

原因：重试机制导致同一问题多次请求。

解决：在写入前检查request_id是否已存在，使用ON CONFLICT或唯一约束避免重复。

2. 存储膨胀

原因：raw_response体积大，且数据量大。

解决：对raw_response进行压缩（如JSONB默认压缩），定期归档旧数据到冷存储。

3. 时区不一致

原因：不同服务器时区设置不同。

解决：统一使用UTC时间存储，展示时再转换为本地时间。

总结

原始数据存储是AI回答采集系统的基石。通过合理的表结构、元数据设计和版本管理，可以保证数据可追溯、可复查、可重算。本文提供的方案适用于中小规模采集系统，实际部署时需根据数据量和查询模式调整索引和分区策略。