Datalab

State of the Art models for Document Intelligence

---

# Chandra OCR 2 Chandra OCR 2 是一款最先进的 OCR 模型，能够将图像和 PDF 转换为结构化的 HTML/Markdown/JSON，同时保留布局信息。 ## 新闻 - 3/2026 - Chandra 2 发布，在数学公式、表格、布局和多语言 OCR 方面有显著改进 - 10/2025 - Chandra 1 发布 ## 特性 - 荣登外部 olmocr 基准测试榜首，并在内部多语言基准测试中表现显著提升 - 将文档转换为 markdown、html 或 json，包含详细的布局信息 - 支持 90+ 种语言（[见下方基准](#multilingual-benchmark-table)） - 优秀的手写体支持 - 准确重建表单，包括复选框 - 在表格、数学公式和复杂布局方面表现强劲 - 提取图像和图表，并添加标题和结构化数据 - 两种推理模式：本地 和远程 (vLLM server) ## 托管 API - 我们在此处提供 Chandra 的托管 API [点击查看](https://www.datalab.to/)，该版本更准确、更快速。 - 如果您想在不安装的情况下试用 Chandra，这里有一个免费的游乐场 [点击试用](https://www.datalab.to/playground)。 ## 快速开始 最简单的开始方式是使用 CLI 工具： ``` pip install chandra-ocr # 使用 vLLM（推荐，轻量级安装） chandra_vllm chandra input.pdf ./output # 使用 HuggingFace（需要 torch） pip install chandra-ocr[hf] chandra input.pdf ./output --method hf # 交互式 streamlit app pip install chandra-ocr[app] chandra_app ``` ## 基准测试 多语言性能是 Chandra 2 的重点。由于缺乏完善的公共多语言 OCR 基准，我们创建了自己的基准。该测试涵盖表格、数学公式、顺序、布局和文本准确性。 查看[下方](#multilingual-benchmark-table)的完整分数。我们还有一个[完整的 90 种语言基准](FULL_BENCHMARKS.md)。 我们还使用广泛认可的 olmocr 基准对 Chandra 2 进行了测试： 查看[下方](#benchmark-table)的完整分数。 ## 示例 | 类型 | 名称 | 链接 | |------|--------------------------|-------------------------------------------------------------------------------------------------------------| | 数学 | CS229 教科书 | [查看](https://github.com/datalab-to/chandra/blob/master/assets/examples/math/cs229.png) | | 数学 | 手写数学 | [查看](https://github.com/datalab-to/chandra/blob/master/assets/examples/math/handwritten_math.png) | | 数学 | 中文数学 | [查看](https://github.com/datalab-to/chandra/blob/master/assets/examples/math/chinese_math.png) | | 表格 | 统计分布 | [查看](https://github.com/datalab-to/chandra/blob/master/assets/examples/tables/complex_tables.png) | | 表格 | 财务表格 | [查看](https://github.com/datalab-to/chandra/blob/master/assets/examples/tables/financial_table.png) | | 表单 | 注册表单 | [查看](https://github.com/datalab-to/chandra/blob/master/assets/examples/forms/handwritten_form.png) | | 表单 | 租赁表单 | [查看](https://github.com/datalab-to/chandra/blob/master/assets/examples/forms/lease_filled.png) | | 手写 | 草书 | [查看](https://github.com/datalab-to/chandra/blob/master/assets/examples/handwriting/cursive_writing.png) | | 手写 | 手写笔记 | [查看](https://github.com/datalab-to/chandra/blob/master/assets/examples/handwriting/handwritten_notes.png) | | 语言 | 阿拉伯语 | [查看](https://github.com/datalab-to/chandra/blob/master/assets/examples/languages/arabic.png) | | 语言 | 日语 | [查看](https://github.com/datalab-to/chandra/blob/master/assets/examples/languages/japanese.png) | | 语言 | 印地语 | [查看](https://github.com/datalab-to/chandra/blob/master/assets/examples/languages/hindi.png) | | 语言 | 俄语 | [查看](https://github.com/datalab-to/chandra/blob/master/assets/examples/languages/russian.png) | | 其他 | 图表 | [查看](https://github.com/datalab-to/chandra/blob/master/assets/examples/other/charts.png) | | 其他 | 化学 | [查看](https://github.com/datalab-to/chandra/blob/master/assets/examples/other/chemistry.png) | ## 安装 ### 包安装 ``` # 基础安装（用于 vLLM backend） pip install chandra-ocr # 使用 HuggingFace backend（包含 torch, transformers） pip install chandra-ocr[hf] # 安装所有扩展 pip install chandra-ocr[all] ``` 如果您使用 HuggingFace 方法，我们还建议安装 [flash attention](https://github.com/Dao-AILab/flash-attention) 以获得更好的性能。 ### 从源码安装 ``` git clone https://github.com/datalab-to/chandra.git cd chandra uv sync source .venv/bin/activate ``` ## 用法 ### CLI 处理单个文件或整个目录： ``` # 单个文件，使用 vllm server（关于如何启动 vllm 请参阅下文） chandra input.pdf ./output --method vllm # 使用本地模型处理目录中的所有文件 chandra ./documents ./output --method hf ``` **CLI 选项：** - `--method [hf|vllm]`：推理方法（默认值：vllm） - `--page-range TEXT`：PDF 的页面范围（例如 "1-5,7,9-12"） - `--max-output-tokens INTEGER`：每页最大 token 数 - `--max-workers INTEGER`：vLLM 的并行 worker 数 - `--include-images/--no-images`：提取并保存图像（默认值：include） - `--include-headers-footers/--no-headers-footers`：包含页面页眉/页脚（默认值：exclude） - `--batch-size INTEGER`：每批次的页数（默认值：vllm 为 28，hf 为 1） **输出结构：** 每个处理后的文件都会创建一个子目录，其中包含： - `.md` - Markdown 输出 - `.html` - HTML 输出 - `_metadata.json` - 元数据（页面信息、token 数量等） - 提取的图像直接保存在输出目录中 ### Streamlit Web 应用 启动交互式演示以进行单页处理： ``` chandra_app ``` ### vLLM 服务器（可选） 对于生产部署或批处理，请使用 vLLM 服务器： ``` chandra_vllm ``` 这将启动一个具有优化推理设置的 Docker 容器。通过环境变量进行配置： - `VLLM_API_BASE`：服务器 URL（默认值：`http://localhost:8000/v1`） - `VLLM_MODEL_NAME`：服务器的模型名称（默认值：`chandra`） - `VLLM_GPUS`：GPU 设备 ID（默认值：`0`） 您也可以使用 `datalab-to/chandra-ocr-2` 模型启动自己的 vllm 服务器。 ### 配置 可以通过环境变量或 `local.env` 文件配置设置： ``` # Model 设置 MODEL_CHECKPOINT=datalab-to/chandra-ocr-2 MAX_OUTPUT_TOKENS=12384 # vLLM 设置 VLLM_API_BASE=http://localhost:8000/v1 VLLM_MODEL_NAME=chandra VLLM_GPUS=0 ``` # 商业用途 本代码遵循 Apache 2.0 协议，我们的模型权重使用修改后的 OpenRAIL-M 许可证（免费用于研究、个人使用以及融资/收入低于 200 万美元的初创公司，不得用于与我们的 API 竞争）。要移除 OpenRAIL 许可证要求，或进行更广泛的商业授权，请访问我们的定价页面[点击这里](https://www.datalab.to/pricing?utm_source=gh-chandra)。 # 基准测试表 | **模型** | ArXiv | 旧扫描件数学 | 表格 | 旧扫描件 | 页眉和页脚 | 多栏 | 长篇微小文本 | 基础 | 总体 | 来源 | |:--------------------------|:--------:|:--------------:|:--------:|:---------:|:-------------------:|:------------:|:--------------:|:----:|:--------------:|:------:| | Datalab API | **90.4** | **90.2** | **90.7** | **54.6** | 91.6 | 83.7 | **92.3** | **99.9** | **86.7 ± 0.8** | 自有基准 | | Chandra 2 | 90.2 | 89.3 | 89.9 | 49.8 | 92.5 | 83.5 | 92.1 | 99.6 | 85.9 ± 0.8 | 自有基准 | | dots.ocr 1.5 | 85.9 | 85.5 | **90.7** | 48.2 | 94.0 | **85.3** | 81.6 | 99.7 | 83.9 | dots.ocr 仓库 | | Chandra 1 | 82.2 | 80.3 | 88.0 | 50.4 | 90.8 | 81.2 | **92.3** | **99.9** | 83.1 ± 0.9 | 自有基准 | | olmOCR 2 | 83.0 | 82.3 | 84.9 | 47.7 | **96.1** | 83.7 | 81.9 | 99.6 | 82.4 | olmocr 仓库 | | dots.ocr | 82.1 | 64.2 | 88.3 | 40.9 | 94.1 | 82.4 | 81.2 | 99.5 | 79.1 ± 1.0 | dots.ocr 仓库 | | olmOCR v0.3.0 | 78.6 | 79.9 | 72.9 | 43.9 | 95.1 | 77.3 | 81.2 | 98.9 | 78.5 ± 1.1 | olmocr 仓库 | | Datalab Marker v1.10.0 | 83.8 | 69.7 | 74.8 | 32.3 | 86.6 | 79.4 | 85.7 | 99.6 | 76.5 ± 1.0 | 自有基准 | | Deepseek OCR | 75.2 | 72.3 | 79.7 | 33.3 | **96.1** | 66.7 | 80.1 | 99.7 | 75.4 ± 1.0 | 自有基准 | | Mistral OCR API | 77.2 | 67.5 | 60.6 | 29.3 | 93.6 | 71.3 | 77.1 | 99.4 | 72.0 ± 1.1 | olmocr 仓库 | | GPT-4o (Anchored) | 53.5 | 74.5 | 70.0 | 40.7 | 93.8 | 69.3 | 60.6 | 96.8 | 69.9 ± 1.1 | olmocr 仓库 | | Qwen 3 VL 8B | 70.2 | 75.1 | 45.6 | 37.5 | 89.1 | 62.1 | 43.0 | 94.3 | 64.6 ± 1.1 | 自有基准 | | Gemini Flash 2 (Anchored) | 54.5 | 56.1 | 72.1 | 34.2 | 64.7 | 61.5 | 71.5 | 95.6 | 63.8 ± 1.2 | olmocr 仓库 | # 多语言基准测试表 下表涵盖了 43 种最常见的语言，并在多个模型间进行了基准测试。如需涵盖 90 种语言的全面评估（仅限 Chandra 2 与 Gemini 2.5 Flash 对比），请参阅[完整的 90 种语言基准](#full-90-language-benchmark-table)。 | 语言 | Datalab API | Chandra 2 | Chandra 1 | Gemini 2.5 Flash | GPT-5 Mini | |---|:---:|:---:|:---:|:---:|:---:| | ar | 67.6% | 68.4% | 34.0% | 84.4% | 55.6% | | bn | 85.1% | 72.8% | 45.6% | 55.3% | 23.3% | | ca | 88.7% | 85.1% | 84.2% | 88.0% | 78.5% | | cs | 88.2% | 85.3% | 84.7% | 79.1% | 78.8% | | da | 90.1% | 91.1% | 88.4% | 86.0% | 87.7% | | de | 93.8% | 94.8% | 83.0% | 88.3% | 93.8% | | el | 89.9% | 85.6% | 85.5% | 83.5% | 82.4% | | es | 91.8% | 89.3% | 88.7% | 86.8% | 97.1% | | fa | 82.2% | 75.1% | 69.6% | 61.8% | 56.4% | | fi | 85.7% | 83.4% | 78.4% | 86.0% |84.7% | | fr | 93.3% | 93.7% | 89.6% | 86.1% | 91.1% | | gu | 73.8% | 70.8% | 44.6% | 47.6% | 11.5% | | he | 76.4% | 70.4% | 38.9% | 50.9% | 22.3% | | hi | 80.5% | 78.4% | 70.2% | 82.7% | 41.0% | | hr | 93.4% | 90.1% | 85.9% | 88.2% | 81.3% | | hu | 88.1% | 82.1% | 82.5% | 84.5% | 84.8% | | id | 91.3% | 91.6% | 86.7% | 88.3% | 89.7% | | it | 94.4% | 94.1% | 89.1% | 85.7% | 91.6% | | ja | 87.3% | 86.9% | 85.4% | 80.0% | 76.1% | | jv | 87.5% | 73.2% | 85.1% | 80.4% | 69.6% | | kn | 70.0% | 63.2% | 20.6% | 24.5% | 10.1% | | ko | 89.1% | 81.5% | 82.3% | 84.8% | 78.4% | | la | 78.0% | 73.8% | 55.9% | 70.5% | 54.6% | | ml | 72.4% | 64.3% | 18.1% | 23.8% | 11.9% | | mr | 80.8% | 75.0% | 57.0% | 69.7% | 20.9% | | nl | 90.0% | 88.6% | 85.3% | 87.5% | 83.8% | | no | 89.2% | 90.3% | 85.5% | 87.8% | 87.4% | | pl | 93.8% | 91.5% | 83.9% | 89.7% | 90.4% | | pt | 97.0% | 95.2% | 84.3% | 89.4% | 90.8% | | ro | 86.2% | 84.5% | 82.1% | 76.1% | 77.3% | | ru | 88.8% | 85.5% | 88.7% | 82.8% | 72.2% | | sa | 57.5% | 51.1% | 33.6% | 44.6% | 12.5% | | sr | 95.3% | 90.3% | 82.3% | 89.7% | 83.0% | | sv | 91.9% | 92.8% | 82.1% | 91.1% | 92.1% | | ta | 82.9% | 77.7% | 50.8% | 53.9% | 8.1% | | te | 69.4% | 58.6% | 19.5% | 33.3% | 9.9% | | th | 71.6% | 62.6% | 47.0% | 66.7% | 53.8% | | tr | 88.9% | 84.1% | 68.1% | 84.1% | 78.2% | | uk | 93.1% | 91.0% | 88.5% | 87.9% | 81.9% | | ur | 54.1% | 43.2% | 28.1% | 57.6% | 16.9% | | vi | 85.0% | 80.4% | 81.6% | 89.5% | 83.6% | | zh | 87.8% | 88.7% | 88.3% | 70.0% | 70.4% | | **平均值** | **80.4%** | **77.8%** | **69.4%** | **67.6%** | **60.5%** | # 完整的 90 种语言基准测试表 我们还有一个涵盖 90 种语言的更全面的评估，比较了 Chandra 2 与 Gemini 2.5 Flash。平均分低于上面的 43 种语言表，因为这里包含了许多低资源语言。Chandra 2 平均为 **72.7%**，而 Gemini 2.5 Flash 为 **60.8%**。 请参阅[完整的 90 种语言结果](FULL_BENCHMARKS.md)。 ## 吞吐量 使用 vLLM 在单个 NVIDIA H100 80GB GPU 上进行基准测试，采用来自 olmOCR 基准集的多样化文档混合（数学、表格、扫描件、多栏布局）。该数据集的处理速度明显低于实际使用情况——我们估计实际使用中可达 2 页/秒。 | 配置 | 页数/秒 | 平均延迟 | P95 延迟 | 失败率 | |---|:---:|:---:|:---:|:---:| | vLLM, 96 个并发序列 | 1.44 | 60s | 156s | 0% | # 致谢 感谢以下开源项目： - [Huggingface Transformers](https://github.com/huggingface/transformers) - [VLLM](https://github.com/vllm-project/vllm) - [olmocr](https://github.com/allenai/olmocr) - [Qwen 3.5](https://github.com/QwenLM/Qwen3)

标签：HuggingFace, Kubernetes, OCR, PDF转HTML, PDF转Markdown, Python, SOTA模型, vLLM, 光学字符识别, 凭据扫描, 多语言OCR, 布局分析, 开源模型, 手写体识别, 数学公式识别, 文档数字化, 文档智能, 文档解析, 文档转换, 无后门, 智能表单识别, 深度学习, 结构化数据提取, 表格识别, 计算机视觉, 请求拦截, 逆向工具