多平台AI回答采集之品牌别名归一化处理

摘要： 同一个品牌在不同AI回答中可能以不同名称出现——中文名、英文名、简称、俗称。如果不做归一化处理，品牌统计结果会被严重扭曲。本文介绍品牌别名归一化的实现方案。

一、场景与问题

采集AI回答时，一个常见的问题是品牌名称不统一。

问AI“推荐运动鞋品牌”，回答里可能同时出现“New Balance”“新百伦”“NB”——其实都是同一个品牌。

如果不做处理，统计时就会出现三个“品牌”，每个的提及次数都不完整。

二、整体方案

品牌别名归一化的核心思路：建立标准品牌名到别名的映射表，在统计前将所有名称映射到标准名。

flowchart LR
    A[原始名称] --> B[查找别名映射表]
    B --> C[返回标准名称]
    C --> D[统一统计]

三、核心实现

3.1 别名映射表设计

sql

CREATE TABLE brand_aliases (
    id BIGSERIAL PRIMARY KEY,
    canonical_name VARCHAR(100) NOT NULL,
    alias_name VARCHAR(100) NOT NULL,
    created_at TIMESTAMP DEFAULT NOW()
);

3.2 归一化函数

python

def normalize_brand_name(name: str, alias_map: dict[str, str]) -> str:
    name = name.strip()
    return alias_map.get(name, name)

3.3 批量处理

采集完成后，对所有回答中的品牌名称统一进行归一化处理，确保统计时所有别名都被合并到标准名称下。

四、运行验证

验证归一化是否成功：

1. 检查榜单中是否还存在别名（如“NB”单独出现）
2. 对比归一化前后的品牌数量，确保重复项已被合并
3. 抽样检查别名映射是否准确

五、常见问题与踩坑

坑1：别名映射不完整

现象：新的别名不断出现，映射表跟不上。 解决：建立别名定期review机制，发现新别名及时补充。

坑2：不同品牌共用简称

现象：一个简称可能对应多个品牌（如“AJ”可能指Air Jordan也可能指A.J.） 解决：对于有歧义的简称，需要结合上下文判断，不能简单映射。

六、总结

品牌别名归一化看似简单，实则是AI回答采集中最容易出问题的环节之一。如果处理不好，后面的所有统计都会失真。提前设计好别名映射机制，比事后补救要有效得多。