Document 组件：把文件喂给 AI 之前：必须先做这三步

读完这篇你会知道

---

一、先说为什么要"处理文档"

你想让 AI 回答公司内部知识库里的问题。AI 的记忆是有限的——你不可能把整本手册塞进去。

工程上的解法叫 RAG（检索增强生成）：

1. 建库：把文档切成小块，算向量，存进数据库
2. 用时：用户提问 → 捞出最相关的几块 → AI 看着这几块回答

第一步"建库"就是 Document 组件负责的事：加载 → 解析 → 切片。

---

二、Document 是什么

源码在 eino/schema/document.go，结构体只有三个字段：

type Document struct {
    ID       string         // 这块内容的唯一编号
    Content  string         // 实际文字内容
    MetaData map[string]any // 附带的额外信息
}

Content 是正文，MetaData 存来源、分数、向量等附加信息。

从 HTML 页面解析出来的 Document 大概长这样：

{
  "id": "doc-001",
  "content": "Go 是 Google 开发的编程语言，设计目标是简洁、高效...",
  "meta_data": {
    "_source": "https://example.com/go-intro.html",
    "_title": "Go 语言简介",
    "_language": "zh"
  }
}

MetaData 不是普通 map——有一批专属方法：

doc.Score()        // 取检索相关性分数（不用手动从 map 挖）
doc.DenseVector()  // 取向量
doc.ExtraInfo()    // 取附加说明
doc.SubIndexes()   // 取多分区路由索引

这些值底层都存在 MetaData 的保留 key 里（_score、_dense_vector 等），但对外暴露方法，不让你直接操 map。

---

三、Loader：把文件搬进来

接口定义在 eino/components/document/interface.go：

type Loader interface {
    Load(ctx context.Context, src Source, opts ...LoaderOption) ([]*schema.Document, error)
}type Source struct {
    URI string  // 文件路径或 URL
}

接口极薄。eino-ext 提供了三种现成实现：

Loader	用途	URI 格式
file.FileLoader	读本地文件	/path/to/file.md
url.Loader	抓网页	https://...
s3.Loader	读 AWS S3	s3://bucket/key

关键设计：Loader 不管格式。它只负责把字节流读进来，格式解析交给 Parser。两者分开，换格式不改 Loader，换数据源不改 Parser。

// FileLoader 内部逻辑大致如此：
func (f *FileLoader) Load(ctx context.Context, src Source, opts ...LoaderOption) ([]*schema.Document, error) {
    file, _ := os.Open(src.URI)
    defer file.Close()
    // 把文件流交给 Parser，扩展名由 URI 携带
    return f.parser.Parse(ctx, file, parser.WithURI(src.URI))
}

---

四、Parser：把格式转成纯文字

接口定义在 eino/components/document/parser/interface.go：

type Parser interface {
    Parse(ctx context.Context, reader io.Reader, opts ...Option) ([]*schema.Document, error)
}

接受字节流，返回 Document 列表。

TextParser：最简单

直接把整个流读成字符串，返回一个 Document。处理 .txt、.md 这类纯文本够用。

HTMLParser：解析网页

来自 eino-ext，底层用 goquery（Go 版 jQuery）操作 DOM。

// 源码：eino-ext/components/document/parser/html/html.go
htmlParser, _ := html.NewParser(ctx, &html.Config{
    Selector: gptr.Of("body"),  // 用 CSS 选择器只抠出 body 内容
})

解析后自动提取 meta 信息写入 MetaData：

_title       <-