将 RSI(递归自我改进)应用在 OCR 上,效果竟然如此惊艳?
最近,一个参数量仅 1.3B 的国产开源模型,在文档解析领域强势刷榜。
在 OmniDocBench、olmOCR-Bench 和 DocParsingBench 三大基准测试中,它全部斩获第一。
跑分表现暂且按下不表,先来看看实际效果图。
面对古法手写高数笔记,一键即可转为 Markdown:

甚至连复杂的化学分子结构图都能完整复原:

表现可谓相当强悍,基本做到了“万物皆可解析”。

更出人意料的是它的处理速度。
在单张 RTX PRO 6000 上,完成 100 页端到端文档解析,仅耗时 101 秒。

该模型在海外开发者社区也迅速走红,目前已收获 1.1K+ GitHub Stars,并一度登上推特最热 Daily News。

而这一切突破,都离不开当下 AI 领域备受瞩目的核心机制——
RSI(Recursive Self-Improvement,递归自我改进)。
这个获得自进化能力加持的 OCR 新物种,名为 OXR(Optical “Everything” Recognition)。
三榜全球第一
文档解析,表面上看似乎技术门槛不高,但实则是至今仍未被完全攻克的工程高地。
面对一份看似平常的 PDF 文档,传统 OCR 的表现常常差强人意:双栏排版容易串行,手写公式常被识别为乱码,跨页复杂表格的结构容易崩解;至于化学结构式,很多工具甚至会直接将其视作杂线忽略。
若将这类低质提取结果输入 RAG 系统,即使下游模型推理能力再强,整个 Tool Call 工具调用链也会因此瘫痪。
如今,这一制约 AI 获取高质量上下文的瓶颈迎来了关键突破。
- OmniDocBench:以 97.18 分位列第一(上海人工智能实验室开源,覆盖 10 类复杂文档)。
- olmOCR-Bench:以 87.84 分位列第一(知名 AI 机构 Ai2 推出,包含 7000 余道单元测试级硬核题目)。
- DocParsingBench:以 87.76 分斩获第一(覆盖 5 大行业、14 个真实业务场景)。

名为 OXR 的开源文档解析模型,在三项世界级权威榜单上全部登顶。
并且,其整套评测流程与评测代码均已全量开源,支持完全复现。
上手实测体验也确实显著超越以往方案。过去的工具往往仅能把图像粗糙地转化为字符,结构梳理全凭下游大模型二次猜想;而 OXR 能够一站式解析 13 类文档元素:
包括表格、公式、代码块、图片、化学方程式、脚注、页眉、页脚、印章等。
在实际场景中,它的表现如下:
解析杂志时,输出保留完整语义层级与阅读顺序的结构化 Markdown:

解析数理公式时,直接转换为标准的 LaTeX 代码:

解析学术文献时,双栏排版不再造成干扰,无需大语言模型繁琐地调用辅助工具即可输出高质结果:

甚至复杂的数学试卷也能够精准识别:

同样令人振奋的是其开源属性。
与动辄数百亿参数的大语言模型不同,垂直领域小模型的开源对普通开发者更具普惠价值。即使是 27B 规模的模型,本地部署门槛依然高昂;而 OXR 的参数量仅有 1.3B。
这意味着在一张普通的消费级显卡(如 RTX 3060)上,就能满血本地部署并高效运行。
海外开发者社区对其好评如潮:


那么,一个仅 1.3B 参数量的轻量模型,究竟是如何达到这一 SOTA 级精度的?
核心秘诀就藏在其后训练阶段引入的机制中——RSI 递归自我改进。
揭秘 RSI 训练
长期以来,行业内普遍存在一种路径依赖:若想实现极高的识别精度,往往需要堆叠百亿级参数大模型以及海量人工标注。
然而在文档解析领域,标注数据往往是一个难以填满的无底洞。版式千奇百怪,专业公式、代码、图表错综复杂,纯靠人工标注不仅成本极其昂贵,而且人工标注自身的差错率也不容忽视。真实世界中无穷无尽的长尾 Corner Case(极端边缘用例)几乎无法被穷举。
研发团队在此进行了一次反向推演:文档解析任务存在一个容易被忽视的核心特性——每一份输入,都有高度客观确定的标准答案。
文字拼写、跨行跨列单元格对齐、公式符号完整性等,均可被程序化精确测量。
既然对错标准清晰客观,系统为何不能自主闭环?
基于此,团队在 OXR 的后训练阶段全面引入了面向文档解析的递归自我改进(RSI)训练范式:不再依赖额外新增的人工标注,而是由 AI 系统自主找错、自主归因、自主构建下一轮训练数据并实现自我迭代。

该 RSI 流程主要分为三个阶段:
1. 预测与分类(Prediction & Classification)
OXR 首先对海量无标签真实文档进行批量解析。
随后,通用多模态大模型(General VLM)介入,结合原始图像、解析结果及评判指标,将样本分为三类:
- Correct:完全正确,直接通过;
- Wrong:明确判定错误,送入深度分析流;
- Uncertain:预测置信度不稳定,或处于边缘分布,同样转入分析管线。
引入 Uncertain 分类是一项关键设计。如果强制进行非黑即白的二元分类,评判模型的不确定性就会被硬编码为错误伪标签,进而污染下一轮训练数据;而 Uncertain 的设立能有效隔离不稳定样本。
此外,系统还会对 OXR 进行多次 Rollout 采样。若一份文档在多次采样下的解析结果差异较大,即判定其置信度不足,即便偶尔出现正确结果,也会被归入 Uncertain 集合。
最后,在保持语义不变的前提下,系统会对高分歧样本施加轻微图像扰动(如微缩、有损压缩、轻微模糊或平移)。若加入扰动后模型输出分歧显著放大,表明模型对视觉细微变动存在过敏现象,该扰动模式将被作为特征病因记录,用于下一阶段的针对性补强。
2. 归因与训练规划(Attribution & Training Planning)
筛选出错误样本与边缘样本后,系统需要精准定位失效根因。
在此阶段,通用 VLM 承担诊断职责,逐一分析样本症结:究竟是跨行跨列单元格对齐失效,还是手写连笔字符识别错误。
诊断生成的自然语言解释会被输入 SigLIP2 提取特征向量,随后通过独立聚类算法形成清晰的原因簇(Reason Clusters)。例如,财务报表与化学实验记录表虽然图文内容相去甚远,但若聚类分析发现二者均因罕见的跨行跨列结构导致解析失败,该结构缺陷就会被提炼为一个共性训练攻关目标。
3. 数据生成(Data Generation)
明确原因簇后,数据合成管线便获得了清晰的靶向输入。
OXR 的做法是:以原因簇为结构难点输入,以真实样本池为版面版式与视觉风格基准。每次生成新数据时,从真实样本中提取排版特征作为锚点,并将需强化的排版难点融入其中;此前扰动测试中暴露的视觉脆弱点,也会被系统性地编入合成流程,促使模型在训练中逐步建立鲁棒性。
经过严格校验后的合成数据将直接回流,用于训练下一代 OXR。一轮迭代完成,短板得以补齐;新一轮真实样本测试又会暴露出更深层次的问题,从而驱动系统进入下一轮循环。
至此,RSI 实现了真正的正向自进化闭环。数据分布在一次次迭代中日趋完备,这也是 OXR 能够以 1.3B 规模实现高“智能密度”的本质所在:当数据质量足够精准精炼,模型便无需单纯依靠扩充参数来死记硬背。
架构轻巧可插拔
除高准确率之外,OXR 的推理速度同样抢眼:在单张 RTX PRO 6000 上,端到端解析 100 页文档仅耗时 101.0 秒。
这一性能表现并非单纯源于“参数量小”,更在于其对文档解析架构的重构。
回顾行业近年的技术演进路径:
- Pipeline 传统管线方案:将版面检测、文本识别、文本排序交由不同的独立小模型依次处理,流程冗长,维护成本高昂。
- 端到端纯 VLM 方案:将任务统一视作图像到序列的直接映射,由单一多模态大模型全页输出文本与版面。此方案虽然架构统一,但由于自回归长序列生成极其消耗算力,导致整体推理极为缓慢。
- PaddleOCR-VL 方案:将版面分析(LA)与阅读顺序(RO)合并为前置小模型,后续连接识别(Recognition)模型,实现二阶段解耦。这大幅提升了版面检测速度,成为近年来的行业代表方案之一。但在标注层面,版面标注往往需要与阅读顺序强行绑定,大幅增加了数据处理开销。
在深入分析各方案的利弊后,OXR 团队提出了任务重构架构:由独立的轻量模型专职负责版面分析(LA),而 OXR 主模型则同时接管内容识别(Recognition)与阅读顺序推断(RO)。
即:Layout Analysis (LA) -> Recognition + Reading Order (RO)。
这种划分在工程落地中带来了显著收益:
首先,基本消除了阅读顺序计算带来的额外性能损耗。 在整套处理链路中,阅读顺序推断的算力消耗远低于文本内容识别。OXR 将阅读顺序合并至主模型后,不仅未增加额外时延,反而借助主模型自带的语义理解能力(Content-Aware),显著提升了阅读顺序的判定精度。与此同时,前置的版面分析模型(LA)摆脱了排序任务约束,职责更加纯粹,可直接选用高吞吐的轻量目标检测网络,全面提升整体并发性能。
其次,版面分析模块实现完全解耦与可插拔。 不同业务场景对版面划分的要求千差万别: 例如图文混排区域,部分业务希望按单张大图提取,而知识库场景则需要抽离文字作为正文;密集分布的多格漫画,不同场景对切片尺寸也有完全不同的标准。

在 OXR 架构下,版面分析作为一个独立组件,能够以极低成本进行定制与替换:

面对古籍整理、医疗票据等特殊排版场景,用户可无缝接入私有训练的版面分析检测器,同时继续复用 OXR 强大的后端内容识别与结构化生成能力。
开箱即用生态
为了便于开发者集成,官方目前提供了无需注册、无需 API Key 的免费体验接口。
在服务器负载允许的前提下,该开源体验接口将持续面向社区开放。
在实际写作与知识管理应用中,将该解析接口与传统解析工具对比,其对各类复杂 PDF 布局的还原度提升十分显著:

对于计划本地部署的用户,OXR 已适配主流推理框架。无需手动重新编译底层推理引擎,通过官方 Docker 镜像或 CLI 即可一键启动服务。
目前,OXR 的模型权重、源代码以及全套基准评测复现流程已全面开源:

对于更高阶的格式支持需求(如 Word、PPT、Excel 处理等)以及深度定制化后处理能力,团队还提供了一套名为 SoMark 的商业级文档引擎:

One More Thing
为什么在当前节点,文档解析依然是一个值得深入投入的领域?
在智能体(Agent)加速重构生产力工作流的当下,过去数十年沉淀于各行业中最核心、最深度的私域业务知识,绝大多数仍以格式不一、排版繁复的 PDF、扫描件和表格形式存在。
如果输入端充斥着乱码、跨行错位与表格碎片,即使后端大模型推理能力再强大,也难免产生幻觉与逻辑中断。
从传统的 OCR 到新一代 OXR,这项技术的使命已悄然转变:它是连接人类物理文档与大模型理解能力的结构化中枢,旨在将复杂的非结构化图文无损转化为适合 Agent 理解消费的高质数字资产。
在技术叙事不断涌现的今天,扎实解决真实场景的工程长尾问题,往往更能构筑起坚实的技术底座。当底层数据资产解析方案逐步成熟,属于 Agent 时代的行业基础设施拼图,也将随之加速完整。
- GitHub: https://github.com/SoMarkAI/OXR
- Hugging Face: https://huggingface.co/SoMarkAI/OXR