
2026 年 5 月,LlamaIndex 宣布用 Rust 彻底重写 LiteParse 并发布 2.0 版本——小文档解析速度提升 100 倍 ,大文档也有近 3 倍 提速。
一个月后,这个仓库来到 10775 stars / 708 forks / Apache-2.0,活跃度仍在持续攀升(6 月 23 日还在更新)。
一、它是什么
LiteParse 是一个 开源文档解析工具 ,专注一件事: 把 PDF(以及其他格式)拆成机器可读的结构化内容,全程本地运行,不依赖任何 LLM、不上传任何文件到云端。
这个定位直接跟它同门师兄 LlamaParse 划清了界限:
| LiteParse | LlamaParse | |
|---|---|---|
| 运行方式 | 纯本地,零云依赖 | 云端服务,需上传文件 |
| 解析引擎 | PDFium(原生 C 库)+ Tesseract OCR | 闭源 LLM + 云基础设施 |
| 速度 | 毫秒级 | 稍慢(需要网络往返) |
| 精度 | 布局感知 + OCR,规则驱动 | LLM 驱动的语义解析,对复杂文档更准 |
| 输出格式 | JSON / Text / Markdown / 截图 | Markdown / JSON / 表格 |
| 适合场景 | Agent 实时阅读、RAG 管道、批量解析 | 生产级文档智能、复杂格式处理 |
| 费用 | 免费 | 免费额度 + 付费计划 |
| 数据隐私 | 文件完全不出你的机器 | 文件上传到 LlamaIndex 云端 |
一句话:如果你的 Agent 只需要 ” 扫一眼 ” 文档,用 LiteParse;如果需要啃复杂表格、多栏布局、扫描件,LlamaParse 更强。两者互补。
二、为什么是 Rust 重写这件事
LiteParse 2.0 最关键的改动:把核心解析器从 Node.js 彻底重写为 Rust。
Rust 在文件级 I/O 密集任务上的优势天然适合文档解析:
- 零拷贝内存管理:PDF 二进制数据直接在 Rust 层处理,不需要跨 JS/Node 的边界拷贝
- PDFium C 库直接 FFI:Rust 对 C 库的绑定比 Node.js 原生 addon 更稳定
- 并发 OCR workers:
--num-workers控制并行 OCR,Rust 的线程模型比 Node.js worker 更轻量 - 编译为 WASM:
wasm-bindgen直接导出浏览器可用版本
实测效果:小文档解析速度提升 100 倍,大文档 3 倍。对需要批量解析大量 PDF 的 RAG 管道来说,这个差距直接决定了 ” 能不能跑 ”。
三、核心能力
① 格式支持
| 类别 | 格式 |
|---|---|
| 原生 PDF | .pdf(PDFium 直接解析) |
| Office 文档 | .doc .docx .docm .odt .rtf .pages(LibreOffice 转换) |
| 演示文稿 | .ppt .pptx .pptm .odp .key(LibreOffice 转换) |
| 表格 | .xls .xlsx .xlsm .ods .csv .tsv .numbers(LibreOffice 转换) |
| 图片 | .jpg .jpeg .png .gif .bmp .tiff .webp .svg(ImageMagick 转换) |
多格式依赖 LibreOffice 和 ImageMagick 做前置转换,转换后进入 Rust 核心解析管道。
② 三层 OCR 体系
| 层级 | 方案 | 适用场景 |
|---|---|---|
| 内置(默认) | Tesseract(已打包) | 开箱即用,零配置 |
| HTTP 服务 | EasyOCR / PaddleOCR / 自定义 | 高精度或特殊语言 |
| 自定义 API | 实现标准 OCR API spec | 自建 OCR 服务,企业环境 |
OCR API 标准极简:POST /ocr 接受 file + language,返回 {results: [{ text, bbox, confidence}] }。
③ 三种输出格式
| 格式 | 用途 |
|---|---|
| JSON | 带 bounding box 的结构化文本,精确到每个字符的坐标 |
| Text | 保留布局的纯文本 |
| Markdown | 含标题、表格、列表、图片占位符的 MD,直接喂 LLM 或 RAG |
Markdown 模式纯 heuristics + rule-based,速度快但对超复杂排版效果有限——这正是 README 反复指向 LlamaParse 的场景。
④ 截图生成
lit screenshot document.pdf -o ./screenshots
lit screenshot document.pdf --target-pages "1,3,5" --dpi 300
对 LLM Agent 尤其重要——纯文本提取不到的视觉信息(图表、布局、颜色),截图补上。
⑤ Agent Skill
一条命令装成 Agent 可调用能力:
npx skills add run-llama/llamaparse-agent-skills --skill liteparse
装完后 Agent 直接用 lit parse 解析文件,把解析结果喂回上下文——RAG 管道的文档加载环节从此自动化。
四、安装与快速开始
四语言绑定
| 语言 | 安装 |
|---|---|
| Node.js | npm i @llamaindex/liteparse |
| Python | pip install liteparse |
| Rust | cargo install liteparse |
| 浏览器 (WASM) | npm i @llamaindex/liteparse-wasm |
CLI 一行解析
# 基础解析
lit parse document.pdf
# 输出 Markdown(直接喂 LLM)lit parse document.pdf --format markdown -o output.md
# 只解析第 1-5 页
lit parse document.pdf --target-pages "1-5"
# 禁用 OCR(纯文本提取,最快)lit parse document.pdf --no-ocr
# 批量解析整个目录
lit batch-parse ./input ./output
# 生成页面截图
lit screenshot document.pdf -o ./screenshots --dpi 300
五、技术架构
PDF / DOCX / XLSX / PPTX / IMG
↓
┌─────────────────────────────┐
│ Rust Core (crates/) │
│ ┌───────────────────────┐ │
│ │ PDFium(文本提取)│ │
│ │ Tesseract / OCR HTTP │ │
│ │ Grid Projection(布局)│ │
│ └───────────────────────┘ │
└─────────────────────────────┘
↓
JSON / Text / Markdown / Screenshot
↓
┌─────────────────────────────┐
│ Language Bindings │
│ Node.js · Python · WASM │
│ CLI (cargo / npm / pip) │
└─────────────────────────────┘
核心 crate 结构:
liteparse/:核心库 + CLI binaryliteparse-napi/:Node.js 绑定(napi-rs)liteparse-python/:Python 绑定(PyO3)liteparse-wasm/:浏览器 WASM 绑定pdfium/+pdfium-sys/:PDFium Rust wrapper + FFI
六、与其他文档解析工具的对比
| 工具 | 运行方式 | OCR | 输出 | 关键差异 |
|---|---|---|---|---|
| LiteParse | 纯本地 | Tesseract / HTTP | JSON / Text / Markdown / 截图 | 零云依赖、极快、Rust 核心 |
| LlamaParse | 云端 | LLM 驱动 | Markdown / JSON / 表格 | 对复杂文档精度更高,需上传 |
| PyMuPDF | 纯本地 | 无 | Text / Rawdict / HTML | 纯文本提取极强,但无 OCR |
| pdfplumber | 纯本地 | 无 | Text / Tables / Words | Python 生态,表格提取好用 |
| Marker | 本地 /GPU | 可选 | Markdown | 开源最强 Markdown 转换,但 GPU 依赖 |
LiteParse 的差异化:在 ” 纯本地 ” 赛道里,它同时做到了 OCR + 布局感知 + 截图 + Markdown + 四语言绑定——单个工具覆盖的场景比同类组合更广。
七、优势与风险
✅ 优势
- 10775 stars——RAG / Agent 领域最热门的文档解析工具之一
- 纯本地零云依赖——文件完全不出你的机器,合规场景首选
- Rust 重写——2.0 版本小文档 100 倍提速,大文档 3 倍,benchmark 有数据
- 四语言绑定 + CLI 统一——Rust / Node / Python / WASM,同一套 CLI 命令
- 三层 OCR 可插拔——内置 Tesseract 开箱即用,HTTP 服务可换 EasyOCR/PaddleOCR
- Markdown 输出直接喂 LLM——与 RAG 管道和 Agent Skill 的集成路径最短
- Apache-2.0——商用友好,无 copyleft 风险
- 完整中文文档——README 有中文版,降低国内用户上手门槛
- LlamaIndex 生态背书——同团队有 LlamaParse 做云端兜底,本地 / 云端组合拳
⚠️ 风险和局限
- Markdown 重建是 heuristic 的:复杂多栏、密集表格效果不如 LlamaParse,README 本身也不回避这点
- 依赖 LibreOffice + ImageMagick:多格式转换需要外部工具,Docker / CI 环境配置成本略高
- Tesseract 中文效果一般:中文 OCR 场景更推荐 PaddleOCR(HTTP 模式)
- OCR 默认开:纯文本 PDF 也会触发 OCR,
--no-ocr需要手动关 - WASM 版本功能有限:浏览器版是子集,全功能仍需 Node/Python/Rust
- 大仓库活跃但维护者集中:708 forks 但 22 open issues,社区贡献面有待观察
八、总结
LiteParse 解决了一个明确且高频的问题:在本地把 PDF 变成 LLM 能吃的格式,而且要快、要准、要能跑在 Agent 的上下文里。
LlamaIndex 团队把它定位为 ”LlamaParse 的本地轻量替代品 ” 是准确的,但实际使用场景比这个定位更宽——RAG 管道的文档加载、Agent 实时解析 PDF、批量文档提取……这些场景 LiteParse 都是当前市场里 ” 纯本地 + 速度快 + 多格式 + 多语言 ” 的最优选择。
对于技术人来说,Rust 重写这件事本身就值得关注——这是 2026 年 AI infra 工具 ” 从 JS/Node 迁移到 Rust” 趋势的一个典型样本,PDF 解析、向量检索、模型推理……几乎所有 I/O 密集的 AI 工具链环节都在经历同样的重构。
一句话:如果你需要一个 ” 本地跑、毫秒级、能把 PDF 喂给 LLM 的解析器 ”,LiteParse 现在是 2026 年最值得试的那个。
本文基于 run-llama/liteparse GitHub README(含中文版)、CSDN 技术分析文章和 npm/crates.io 数据整理。