标题：AI品牌指数方法论：自问题集到有效样本

本文介绍AI心智指数方法论中的核心环节——从问题集设计到有效样本筛选的完整流程。内容涵盖问题集生成原则、多平台采集策略、无效回答识别与剔除、品牌别名合并等关键步骤，适合正在搭建AI品牌观察系统的开发者参考。

一、场景与问题

在构建AI品牌观察系统时，一个容易被低估的问题是：什么样的数据才算有效数据？

很多人以为只要调用模型接口、拿到回答、统计品牌出现次数就够了。但实际做起来会发现，问题远比想象中复杂。

同一个品牌在不同回答中可能叫不同名字。AI可能给出不相关的回答。有些回答只是泛泛而谈，并没有真正提及或推荐任何品牌。

如果这些数据不做处理就直接进入统计，结果会失真。

二、整体方案

从问题集到有效样本，需要经过以下流程：

flowchart TD
    A[设计问题集] --> B[多平台采集]
    B --> C[原始回答入库]
    C --> D[无效回答识别]
    D --> E[品牌识别与别名合并]
    E --> F[有效样本筛选]
    F --> G[指标计算]

三、环境与准备工作

模块	示例技术
模型服务	大模型API
后端服务	Python / FastAPI
数据库	PostgreSQL
任务调度	Celery / Redis

四、核心模块实现

4.1 问题集设计

问题集决定了采集结果是否有可比性。关键原则：

• 覆盖多个用户场景，不只问一个通用问题
• 问题表述要贴近真实用户提问方式
• 同一问题在不同平台保持口径一致

4.2 多平台采集

不同平台的回答差异可能很大。需要统一采集口径，记录平台、时间、问题等元信息，便于后续对比分析。

4.3 无效回答识别

以下类型的回答应被标记为无效：

• 拒答或无法回答
• 回答内容与问题不相关
• 回答过于笼统，没有实质信息
• 回答格式异常，无法解析

4.4 品牌别名合并

python

def normalize_brand_name(name: str, alias_map: dict[str, str]) -> str:
    name = name.strip()
    return alias_map.get(name, name)

示例：将“NB”“New Balance”“新百伦”统一映射到“新百伦”。

五、运行验证

验证点：

1. 问题集是否覆盖多个场景
2. 各平台采集是否成功
3. 无效回答是否被正确标记
4. 品牌别名是否被正确合并
5. 有效样本数量是否满足统计要求

六、常见问题与踩坑

坑1：问题集过于单一

现象：只问一个通用问题，结果无法反映品牌在不同场景中的表现差异。 解决：为每个品类设计3-5个覆盖不同场景的问题。

坑2：不同平台回答格式差异大

现象：有的平台用列表，有的用段落，解析规则不统一。 解决：为每个平台单独设计解析规则，同时保留原始回答备查。

坑3：品牌别名没有提前处理

现象：同一个品牌被拆成多个条目统计。 解决：在统计前建立品牌别名映射表。

七、总结

从问题集到有效样本，核心不是“采集更多数据”，而是“采集可用的数据”。无效回答、品牌别名、平台差异——这些问题如果不在前期处理好，后面的统计结果就缺乏可信度。