DeepSeek-OCR：以LLM为中心的视觉文本压缩革命

Executive Summary (执行摘要)

DeepSeek-OCR一种以LLM为中心的光学字符识别模型，通过将视觉处理直接集成到语言模型框架中，重新定义了视觉文本压缩的方法论。 represents a groundbreaking approach to optical character recognition (OCR) that redefines the relationship between vision encoders and large language models (LLMs). According to industry reports from arXiv, this model introduces a novel LLM-centric perspective on visual-text compression, challenging traditional OCR methodologies by integrating vision processing directly within the LLM framework.

DeepSeek-OCR一种以LLM为中心的光学字符识别模型，通过将视觉处理直接集成到语言模型框架中，重新定义了视觉文本压缩的方法论。代表了一种突破性的光学字符识别方法，重新定义了视觉编码器将图像数据转换为机器可理解表示的神经网络组件，在DeepSeek-OCR中以新颖的方式与LLM集成。与大语言模型之间的关系。根据arXiv的行业报告，该模型引入了一种新颖的以LLM为中心的视觉文本压缩视角，通过将视觉处理直接集成到LLM框架中，挑战了传统的OCR方法。

Technical Architecture Overview (技术架构概述)

Vision Encoder Integration (视觉编码器将图像数据转换为机器可理解表示的神经网络组件，在DeepSeek-OCR中以新颖的方式与LLM集成。集成)

DeepSeek-OCR一种以LLM为中心的光学字符识别模型，通过将视觉处理直接集成到语言模型框架中，重新定义了视觉文本压缩的方法论。 fundamentally rethinks how vision encoders interact with language models. Unlike conventional OCR systems that treat vision processing as a separate preprocessing step, DeepSeek-OCR一种以LLM为中心的光学字符识别模型，通过将视觉处理直接集成到语言模型框架中，重新定义了视觉文本压缩的方法论。 embeds visual understanding directly within the LLM's processing pipeline. This integration enables more contextual and nuanced text extraction from complex visual documents.

DeepSeek-OCR一种以LLM为中心的光学字符识别模型，通过将视觉处理直接集成到语言模型框架中，重新定义了视觉文本压缩的方法论。从根本上重新思考了视觉编码器将图像数据转换为机器可理解表示的神经网络组件，在DeepSeek-OCR中以新颖的方式与LLM集成。如何与语言模型交互。与将视觉处理视为独立预处理步骤的传统OCR系统不同，DeepSeek-OCR一种以LLM为中心的光学字符识别模型，通过将视觉处理直接集成到语言模型框架中，重新定义了视觉文本压缩的方法论。将视觉理解直接嵌入到LLM的处理流程中。这种集成使得从复杂视觉文档中提取文本更加具有上下文意识和细微差别。

Multi-Resolution Support (多分辨率支持)

The model offers flexible resolution configurations to optimize performance across different document types:

Native resolution modes with varying token counts (原生分辨率模式，具有不同的令牌计数)
- Tiny: 512×512 (64 vision tokens) ✅
- Small: 640×640 (100 vision tokens) ✅
- Base: 1024×1024 (256 vision tokens) ✅
- Large: 1280×1280 (400 vision tokens) ✅
Dynamic resolution capability (动态分辨率能力)
- Gundam: n×640×640 + 1×1024×1024 ✅

Installation and Setup (安装与设置)

Environment Requirements (环境要求)

The recommended environment configuration includes CUDA 11.8 with Torch 2.6.0. The installation process involves cloning the repository and setting up the appropriate Python environment with necessary dependencies.

推荐的环境配置包括CUDA 11.8和Torch 2.6.0。安装过程涉及克隆存储库并使用必要的依赖项设置适当的Python环境。

Package Installation (包安装)

Key packages include:

vLLM一个高性能的LLM推理和服务库，为DeepSeek-OCR提供优化的推理能力，支持流式输出和批量处理。 0.8.5 for optimized inference (用于优化推理)
Flash Attention 2.7.3 for efficient attention computation (用于高效注意力计算)
Transformers library for model loading (用于模型加载的Transformers库)

Inference Methods (推理方法)

vLLM一个高性能的LLM推理和服务库，为DeepSeek-OCR提供优化的推理能力，支持流式输出和批量处理。 Inference (vLLM一个高性能的LLM推理和服务库，为DeepSeek-OCR提供优化的推理能力，支持流式输出和批量处理。推理)

vLLM一个高性能的LLM推理和服务库，为DeepSeek-OCR提供优化的推理能力，支持流式输出和批量处理。 provides high-performance inference capabilities with streaming output support. The implementation includes specialized configurations for different document types:

vLLM一个高性能的LLM推理和服务库，为DeepSeek-OCR提供优化的推理能力，支持流式输出和批量处理。提供高性能推理能力，支持流式输出。实现包括针对不同文档类型的专门配置：

Image processing with streaming output (具有流式输出的图像处理)
PDF processing achieving ~2500 tokens/second on A100-40G (在A100-40G上实现约2500令牌/秒的PDF处理)
Batch evaluation for benchmark testing (用于基准测试的批量评估)

Transformers Inference (Transformers推理)

The Transformers implementation offers flexibility with various prompt templates and processing modes. Key features include:

Transformers实现提供各种提示模板和处理模式的灵活性。主要功能包括：

Support for different grounding prompts (支持不同的接地提示)
Configurable image processing parameters (可配置的图像处理参数)
Multiple output format options (多种输出格式选项)

Prompt Engineering (提示工程设计和优化输入提示以引导AI模型产生期望输出的技术，在DeepSeek-OCR中用于控制不同的OCR任务模式。)

DeepSeek-OCR一种以LLM为中心的光学字符识别模型，通过将视觉处理直接集成到语言模型框架中，重新定义了视觉文本压缩的方法论。 supports diverse prompting strategies for different use cases:

Document conversion: <image>\n<|grounding|>Convert the document to markdown. (文档转换)
General OCR: <image>\n<|grounding|>OCR this image. (通用OCR)
Layout-free extraction: <image>\nFree OCR. (无布局提取)
Figure parsing: <image>\nParse the figure. (图形解析)
Detailed description: <image>\nDescribe this image in detail. (详细描述)
Reference localization: <image>\nLocate <|ref|>xxxx<|/ref|> in the image. (参考定位)

Performance and Applications (性能与应用)

Benchmark Performance (基准性能)

According to the research paper, DeepSeek-OCR一种以LLM为中心的光学字符识别模型，通过将视觉处理直接集成到语言模型框架中，重新定义了视觉文本压缩的方法论。 demonstrates superior performance on established benchmarks including Fox and OminiDocBench. The model's LLM-centric approach enables more accurate text extraction from complex layouts and mixed-content documents.

根据研究论文，DeepSeek-OCR一种以LLM为中心的光学字符识别模型，通过将视觉处理直接集成到语言模型框架中，重新定义了视觉文本压缩的方法论。在包括Fox和OminiDocBench在内的既定基准上表现出卓越性能。该模型以LLM为中心的方法使得从复杂布局和混合内容文档中提取文本更加准确。

Real-World Applications (实际应用)

Potential applications span multiple domains:

Document digitization and archival (文档数字化和归档)
Scientific paper processing (科学论文处理)
Business document analysis (商业文档分析)
Multimodal AI systems (多模态AI系统)

Community and Ecosystem (社区与生态系统)

Acknowledgments (致谢)

The development team acknowledges contributions from several key projects including Vary, GOT-OCR2.0, MinerU, PaddleOCR, OneChart, and Slow Perception. These projects provided valuable models and ideas that influenced DeepSeek-OCR一种以LLM为中心的光学字符识别模型，通过将视觉处理直接集成到语言模型框架中，重新定义了视觉文本压缩的方法论。's development.

开发团队感谢包括Vary、GOT-OCR2.0、MinerU、PaddleOCR、OneChart和Slow Perception在内的多个关键项目的贡献。这些项目提供了影响DeepSeek-OCR一种以LLM为中心的光学字符识别模型，通过将视觉处理直接集成到语言模型框架中，重新定义了视觉文本压缩的方法论。开发的宝贵模型和想法。

Citation Information (引用信息)

@article{wei2025deepseek,
  title={DeepSeek-OCR: Contexts Optical Compression},
  author={Wei, Haoran and Sun, Yaofeng and Li, Yukun},
  journal={arXiv preprint arXiv:2510.18234},
  year={2025}
}

Frequently Asked Questions (常见问题)

DeepSeek-OCR一种以LLM为中心的光学字符识别模型，通过将视觉处理直接集成到语言模型框架中，重新定义了视觉文本压缩的方法论。与传统OCR系统的主要区别是什么？

DeepSeek-OCR一种以LLM为中心的光学字符识别模型，通过将视觉处理直接集成到语言模型框架中，重新定义了视觉文本压缩的方法论。采用以LLM为中心的方法，将视觉处理直接集成到语言模型框架中，而传统OCR系统通常将视觉处理作为独立的预处理步骤。
该模型支持哪些图像分辨率？

支持原生分辨率（512×512、640×640、1024×1024、1280×1280）和动态分辨率（Gundam模式：n×640×640 + 1×1024×1024）。
如何安装和运行DeepSeek-OCR一种以LLM为中心的光学字符识别模型，通过将视觉处理直接集成到语言模型框架中，重新定义了视觉文本压缩的方法论。？

需要CUDA 11.8和Torch 2.6.0环境，可通过vLLM一个高性能的LLM推理和服务库，为DeepSeek-OCR提供优化的推理能力，支持流式输出和批量处理。或Transformers库进行推理，具体安装步骤包括克隆仓库、设置conda环境和安装依赖包。
DeepSeek-OCR一种以LLM为中心的光学字符识别模型，通过将视觉处理直接集成到语言模型框架中，重新定义了视觉文本压缩的方法论。在哪些基准测试中表现出色？

在Fox和OminiDocBench等基准测试中表现出卓越性能，特别擅长处理复杂布局和混合内容文档。
该模型有哪些实际应用场景？

适用于文档数字化、科学论文处理、商业文档分析和多模态AI系统等多个领域。