改善AI知识库效果，从PDF转Markdown入手

2026-07-29 0

提升AI知识库效果，从PDF转Markdown开始

人们经常抱怨AI知识库不够精确，回答也常常偏题。可仔细想想，AI或许也很冤：问题可能并非出在它的能力，而是最初提供的文档存在缺陷。文本一旦被错误或不完整地提取，后续一系列检索和生成又怎么会有好效果呢？
最常见的PDF就是一个例子：我们阅读时没什么困难，大模型提取其中的文本却很费劲。
第一，文本、图像、表格以及字体和布局信息共同构成了复杂的PDF结构。大模型难以梳理这些结构，也就很难顺利提取文本。
第二，字符编码可能因PDF而异，文本解析因此容易发生错误。
第三，文本即便成功提取，段落、标题等关键信息也可能遗失，进而导致内容理解出现偏差。
因此，想改善AI知识库的效果，应先把PDF转换为便于大模型提取文本的格式。本期视频会介绍两个工具：其一是现成产品Mathpix，我曾在newtype社群推荐；其二是更早就在社群内推荐过的Marker。正好有小伙伴询问具体部署方法，我稍后会详细说明。
先看Mathpix。
这款产品同时提供桌面端和移动端，我使用的是网页版。它可以上传PDF及图片：PDF通常是论文，图片一般是手写笔记或老师的板书。资料导入后会被识别，既能保存在软件中成为一条笔记并多端同步，也能导出为Markdown、Word等格式。
测试时，我上传了一篇约8页的论文，里面涵盖PDF中最常见的复杂格式。Mathpix大概几秒钟便处理完毕，随后选择导出Markdown，即可取得一个md格式文件。
将文件放进Obsidian后可以发现，转换效果相当不错：原先分为左右两栏的内容被统一整理为一栏，小标题、分段和表格等也都得以保留。
选择Obsidian，是因为它的笔记原本就是md格式，同时Copilot这款AI插件具备RAG功能。现在有了PDF转Markdown工具，以后阅读和消化论文、记录笔记，都能在一个软件中完成。
如果你是STEM学生或科研工作者，肯定会非常喜欢Mathpix：一键OCR便可输出LaTeX公式，确实方便。若有大量PDF文档需要作为参考资料交给大模型，也可以考虑订阅，每月不到5美金。
再补充几句，我很欣赏Mathpix创始人的思路。他提出Micro-SaaS这一概念，即从细小而集中的用户痛点切入，提供高度专业化的产品与功能。专注利基市场的这种打法，非常适合当下的AI时代。
OK，最省心的方案是Mathpix。如果不愿意花这笔钱，也可以选择在本地部署Marker完成转换。
我在GitHub上发现了颇受欢迎的Marker项目。它同样用于把PDF转换成Markdown，不仅支持多语种，也能将公式转为LateX、同时提取图片，并支持GPU、CPU。
部署非常容易，还是那句话：有手就行。
第一步仍按惯例操作，先创建环境再激活，这里不再介绍。
第二步是安装PyTorch。大家可前往官网，结合自身情况作出选择，再用特定命令下载并安装。如果尚未安装CUDA，就先到老黄那边下载一个。
第三步，安装Marker。pip install就可以。
完成这三步之后，就可以开始用了。
按照GitHub提供的指导，需要用一行命令运行，而这行命令可以拆成四个部分：
第一部分位于命令开头，用来告诉机器要转换一个文档还是多个文档；如果只转一个，就使用marker single。
第二部分用于告知机器待转换文档的存放位置，也就是文件地址。
第三部分则告诉机器，转换结束后应该把文档保存到什么位置。
第四部分包含若干参数配置。例如batch默认是2个，大约要占用3G显存；该数值越高，显存需求越大，但转换速度也越快。
弄清这行命令的含义后，每次使用都会很简单。只要文件夹始终不变，实际上只需修改文件名。
演示时仍使用刚才那篇论文，这样可以对照查看效果。
命令运行后，每一步都会显示进度条。注意这里：Marker先执行检查，接着确定reading order阅读顺序，最后把md文件保存到指定文件夹。论文中的表格也会从正文之外被分别提取。
接下来用VS Code预览成品，可以看到整体效果还不错。
不过官方也特别说明，由于PDF过于复杂且情况奇怪，公式和表格无法保证100%成功提取。因此，转换完成后，仍建议大家快速浏览并检查一遍。
转换多个文档时思路相同：通过命令设置存放位置和输出位置，就能转换整个文件夹内的PDF。这里不再演示，大家实际操作一次便会完全明白。
OK，今天的内容到这里。其实我很早就在社群中提到，无论采用什么RAG工具与技术，都必须先处理原始数据，再将其输入，最终效果才有保障。想继续交流的朋友可以来newtype，我一直都在。那咱们下期见！

喜欢(0)

大模型企业化落地是系统性工程，而非单纯的技术性问题，企业引入大模型需解决的问题

影片《自虐狂》剧情介绍