你相册里那堆截图,小米想让一个 0.8B 模型替你处理掉
小米开源 0.8B 端侧文档模型 Xiaomi-OCR-0:9 月底放出权重,10 月 30 日晚正式发布;能解析也能理解截图,榜单成绩均为官方自报。
01
说一件大家应该都干过的事。
截图。
取餐码,截一下。
快递取件码,截一下。
群里发的会议通知,截一下。
航班信息,截一下。
月底想记个账,把微信支付宝账单也截一下。
然后呢?
然后就没有然后了。
截图躺在相册里,和几千张别的截图挤在一起,等你哪天想起来,翻半天找不到。
讲道理,截图就是当代人的待办清单。
只不过是一份从来没人处理的待办清单。
所以当我看到小米放出 Xiaomi-OCR-0 的时候,第一反应不是这个模型跑分多少。
而是,终于有人想管管这堆截图了。
先把时间说清楚,免得搞混。
这个模型是 9 月底放出权重,10 月 30 日晚正式发布。
参数只有 0.8B,基于 Qwen3.5-0.8B-Base,Apache-2.0 许可。
02
据智东西的报道,这个模型对应的是超级小爱的"识屏办事"。
说白了,就是你在手机上看到什么,让它帮你把事办了。
报道里举的场景,特别接地气:
- 取餐码、取件码,直接提炼出来,放到"上岛"
- 微信、支付宝账单,一键记账
- 海报、会议通知,自动生成日程
- 只给一个航班号,问它几点到
你注意看,这些事有一个共同点。
光认出字来,没用。
一张账单截图上有几十个字,你要的只是金额、商户和时间。
一张会议海报上有标题、口号、赞助商,你要的只是几点、在哪。
这在行业里有两个名字。
挑出要紧字段,叫 KIE,关键信息抽取。
看完图回答问题,叫 VQA,视觉问答。
传统 OCR 只管第一步认字,后面两步得另外找模型。
Xiaomi-OCR-0 想干的,是把认字、抽字段、答问题塞进同一个模型里。
你可能会问,这有什么区别?
区别大了。
认字是抄写员。
抽字段是会计。
答问题是秘书。
以前你得雇三个人,现在小米说,一个人全包了,而且这个人住在你手机里,不要工资。
当然,能不能真全包,得看实际用起来的效果,这个现在谁也打不了包票。
KIE 这块,官方的做法是你给它一个 JSON schema,它按格式把字段填好交回来。
03
为什么非要塞进一个模型?
这就要算一笔手机的账了。
云端大模型什么都能干,但每一张截图都传上去,有流量、有延迟、有隐私顾虑,厂商还得为每一次调用付推理成本。
放在手机上跑,这些问题少很多。
但手机的内存和电量是有限的。
你总不能装三个模型,一个认字、一个抽字段、一个答问题,轮流上岗吧?
那手机发烫的时候,你还以为它在偷偷挖矿。
所以端侧的逻辑很简单:能一个模型干完的,绝不用两个。
这不是抠门。
这是手机这块地皮太贵了,每一寸都得算着用。
那一个 0.8B 的小模型,答问题能答成什么样?
官方给的 OCR-VQA 均分是 83.2。
对照组里,Qwen3.5-2B 是 80.9,MiniCPM-V-4.5 8B 是 82.6。
当然也有比它高的,Qwen3.5-4B 是 84.9。
官方自己把这一行放出来了,这点我是认的。
04
我觉得这个项目里最值钱的部分,不是模型,是数据。
据官方介绍,训练用了大约 1.7 亿条样本。
这么多样本,标签从哪来?
人工标?
标到明年也标不完。
小米的办法是找一群"专家"来标:据技术报告,专家池里有 PaddleOCR-VL-1.6、MinerU2.5-Pro、GLM-OCR、HunyuanOCR-1.5、TeleOCR 等一批现成模型。
但一个模型说的不算。
按整个专家池的一致程度给候选标注排序,选出三个专家意见一致的那一组,才算。
说法对不上、拿不准的样本,送去进一步精修,尤其是表格和公式,就把识别结果重新渲染回图像,和原图对比,看谁说得对。
这套东西我太熟悉了。
这就是风控里的交叉验证和对账。
一个数据源说你是好人,不算。
三个数据源对上了,才放行。
对不上的单子,拉出来人工复核,在这里只不过是把"人工"换成了"渲染回去比对"。
谁说 AI 训练是玄学?
底层全是对账。
05
先说训练是怎么排的。
官方模型卡写的是三个阶段。
第一阶段叫 Q-Mask 文本锚定,先让模型把图上的字和位置对牢。
第二阶段是 OCR 持续预训练,大量地认字、认版面。
第三阶段是混合任务强化学习,用的是可验证的奖励。
什么叫可验证?
就是答案对不对,能直接核出来,比如抽出来的金额和原图上的是不是同一个数。
这跟风控里只认能对账的指标是一个思路。
说不清对错的奖励,模型就会学会讨好你,而不是学会做对。
然后是一个发现,我觉得比跑分有意思。
官方做了一组实验:把"理解类"数据在训练的不同阶段掺进去,看它对文档解析指标的影响。
早期掺,效果是 −0.330。
中期掺,是 +0.639。
后期掺,是 +0.0749。
翻译成人话就是,先学认字,再学阅读理解。
字还没认全就让你做阅读理解,只会把认字也学乱。
这跟小学语文一个道理。
另一个发现是,同样的数据流程下,4B 的专家模型比 0.8B 的成品,理解能力高了大约 4.9 分,解析能力只高了大约 0.15 分。
官方的结论是,理解比解析更难,也更吃参数。我把它简化成一句:解析吃数据,理解吃参数。
这句话放到手机上,就是一笔很清楚的账。
参数是贵的,手机内存就那么大。
数据是可以堆的,前面那套"专家对账"就是用来堆数据的。
所以小米把钱砸在数据引擎上,而不是硬把模型做大。
(这一段是我的理解,不是官方原话。)
06
最后说说大家爱看的跑分。
以下都是官方自报:
- Real5-OmniDocBench 拿了 95.24,排第一
- OmniDocBench v1.6 是 96.83,排第二,第一是 1.2B 的 TeleOCR,96.87
- Wild-OmniDocBench 是 87.94;公式识别 UniMER-Test 是 97.84,表格识别 PubTabNet 是 92.27
- 古籍类的 Chronicles-OCR(Mature Scripts)是 73,Seed 2.0 Pro 是 72
站内之前写过 百度 Unlimited-OCR 2,那篇讲的是怎么把长文档啃完,这篇是另一头,手机上一张截图怎么办成一件事。
想自己试试的,有浏览器 Demo,也有 MCP 和 Agent Skill。
社区还有人打包了 Ollama 版本,ollama pull longwayxu/xiaomi-ocr-0:bf16,大约 1.8GB。官方把它标为实验性,建议配合仓库里的 MCP 或 Demo 用,它们会自动套上对齐检查时用的预处理和解码设置;至于其他社区转换的 GGUF 版本,团队说没评测过,用之前自己掂量。
那这事儿对谁不太友好?
我猜,是那些专门做截图整理、记账提醒、取件码汇总的小工具。
以前它们的生意是,你截图,它帮你整理。
现在手机厂商说,截图这一步我在系统里就接住了。
你一个第三方 App,凭什么还要用户多开一次?
当然,这是我瞎猜的,小米没说要干掉谁。
但商业就是这样,平台每往前走一步,就有一批小生意要重新找饭碗。
对普通用户来说,倒是简单:谁让我少翻一次相册,我就给谁鼓掌。
说到底,这东西最后能不能好用,不看跑分。
看的是哪天你截完取件码,不用再翻相册。
祝你早安,午安,晚安,取件码一次就找到。
来源:Hugging Face 模型卡;GitHub 仓库;新浪财经转载智东西报道(2026-10-31)。模型卡记载 2026-09-30 发布技术报告并放出权重,10 月 30 日晚为正式发布;参数量、训练数据规模、各阶段实验与基准成绩均为官方自报,基准针对原始 checkpoint;社区 GGUF 版官方未评测;“解析吃数据,理解吃参数”为作者对官方结论的简化。