Token:Prompt:Embedding:Function Calling 概念介绍

在当今的大模型（LLM）时代，这四个词——Token、Prompt、Embedding、Function Calling——构成了 AI 开发的核心。如果把大模型比作一个“超级大脑”，那么这四个概念分别代表了它的原材料、指挥棒、理解力和外部触手。

下面通过通俗易懂的方式为你逐一拆解。

1. Token（原材料）：AI 的“识字块”

大模型其实并不直接认识“文字”，它认识的是 Token。

• 通俗理解：想象你有一盒乐高积木。当你写下一句话时，AI 会先把这句话拆成一个个“零件”。在英文中，一个 Token 可能是一个单词或词根；在中文中，通常是一个字或词组。
• 为什么重要：
  • 计费单位：你和 AI 聊天的成本（钱）是按 Token 数量算的。
  • 限制条件：模型都有“上下文窗口限制”（比如 128k Tokens），意思就是这个大脑一次最多只能“拿住”这么多积木，多了就记不住了。
• 例子："Apple" 可能是 1 个 Token，但 "Antidisestablishmentarianism" 可能被拆成 5 个 Token。

2. Prompt（指挥棒）：你下达的“指令”

Prompt 就是你输入给 AI 的文字，也就是“提示词”。

• 通俗理解：它就像是导演对演员说的戏。如果你只说“演一下”，演员（AI）会一脸懵逼；如果你说“演一个在雨中失恋但强忍泪水的霸道总裁”，演员就能给你精准的表演。
• 核心技巧（Prompt Engineering）：
  • 角色设定：告诉它“你是一个资深律师”。
  • 上下文补充：给它一些背景资料。
  • 任务要求：告诉它输出格式（比如“请用 JSON 格式返回”）。
• 一句话总结：Prompt 的质量直接决定了 AI 输出的质量。

3. Embedding（理解力）：文字的“数字地图”

Embedding（嵌入）是大模型理解世界万物之间语义联系的关键。

• 通俗理解：想象一个巨大的 3D 空间。Embedding 把每一个词语都变成空间里的一个坐标（一串长长的数字，比如 [0.12, -0.45, 0.88...]）。
• 它能做什么：
  • 语义找词：在数字地图上，离“猫”最近的词不是“狗”，就是“小鱼干”。
  • 关联搜索：当你在搜索框搜“美味的午餐”时，Embedding 算法能帮你找到“披萨”或“汉堡”，即使你的文档里没写“美味”两个字。
• 应用场景：现在的 RAG（检索增强生成） 技术就是靠 Embedding 把你的私人文档变成坐标，当你有问题时，AI 去坐标系里找离问题最近的文档片段喂给大模型。

4. Function Calling（外部触手）：AI 的“行动力”

这是让 AI 从“只会聊天”变成“能干活”的分水岭。

• 通俗理解：大模型本质上是一个预测概率的文本生成器，它没法直接查天气、买火车票或操作你的电脑。Function Calling 就是给 AI 定义一套“工具箱说明书”。
• 工作流程：
  1. 你问：“上海今天热吗？”
  2. 模型判断：我不知道实时天气，但我发现我工具箱里有个函数叫 get_weather(city)。
  3. 模型返回：它不直接说话，而是输出一个指令：“请帮我运行 get_weather(city='上海')”。
  4. 程序执行：你的电脑/程序运行这个函数，拿到结果反馈给 AI。
  5. AI 回答：“上海今天 35 度，挺热的。”
• 意义：它让 AI 拥有了连接真实世界 API（天气、日历、数据库）的能力，成了真正的助手（Agent）。

总结：它们是如何协作的？

想象你开发了一个“智能旅行管家”：

1. Prompt：你告诉 AI：“你是一个旅行管家，请根据用户需求查机票。”
2. Token：用户说了一句“我想去巴黎”，这句话被拆成 5 个 Token 发送给模型。
3. Embedding：后台系统把“巴黎”和你的历史订单进行 Embedding 匹配，发现你喜欢靠窗的座位。
4. Function Calling：AI 发现自己无法直接订票，于是触发了 book_flight 函数，填好“巴黎”和“靠窗”的参数，帮你完成了下单。

这四个概念，共同完成了一个从“输入”到“理解”再到“执行”的闭环。