笔记本上跑编程 Agent,这笔账 Recursive Flint 想替你算平
Recursive 开源编程模型 Flint:总参数 39.8B(官方取整 40B)、每 token 激活约 2.5B,Apache 2.0,瞄准在笔记本上本地跑编程 Agent;OpenRouter 已上架免费版。
01
在自己电脑上跑大模型写代码,我一直有点犯嘀咕。
不是不想。
是这笔账,以前总算不过来。
模型小了,写出来的东西不能用。
模型大了,你那台笔记本先扛不住。
两头都要,往往两头落空。
10 月 21 日,一家叫 Recursive 的公司放出了它的第一个模型,叫 Flint。
官方给它的定位很直白:在本地硬件上做快速的 Agent 编程。
说白了就是,想让你在自己的笔记本上,把写代码这件事跑起来,还跑得不慢。
那这次,账算平了吗?
我们一笔一笔看。
02
先看账本的第一行:它到底有多大。
据 Recursive 官方和模型卡,Flint 是一个 MoE(混合专家)模型。
总参数 39.8B(Hugging Face 模型卡的数),官方文章里取整写作 40B。
但每个 token 只激活大约 2.5B。
这里有个小字要看清:这个 2.5B 是把输出头算进去的,主体部分大约 2.2B。
为什么要抠这个细节?
因为“总参数”和“每次干活用多少”,是两本账。
总参数像是你家里有多少员工。
激活参数像是每接一单活,真正上岗的有几个。
Flint 的打法,就是员工养得不少,但每单只派一小队人出门(这是我的比方,不是官方说法)。
具体怎么派,模型卡写得很细:
49 层,其中 2 层稠密,47 层 MoE。
35 层是滑动窗口注意力,窗口 513 个 token,另外 14 层是全注意力,而且这 14 层不用位置编码。
每层有 256 个路由专家,每次选 6 个,再加 1 个共享专家常驻。
词表 150,144,知识截止 2026 年 6 月。
上下文官方称最多支持 512k,建议控制在 256k 以内;Hugging Face 模型卡里记录的上下文配置则是 262,144 个 token(输入和输出合计)。
这一串参数,普通人不用全记住。
我挑两个说人话。
第一个,滑动窗口。
大部分层只盯着最近的一小段内容看,只有少数层负责通盘看全局。
就像一个记账的人,日常流水只翻最近几页,月底对账时才把整本账从头翻一遍。
省的是每一步的力气。
第二个,上下文。
“最多支持”和“建议使用”,官方给了两个不同的数。
能装下,和装得舒服,是两回事。
这就跟行李箱一样,标称能塞多少是一回事,塞满了拉链还拉不拉得上,是另一回事。
官方愿意把建议值单独写出来,我反而觉得是件好事。
03
账本第二行:成绩。
这一行我得先打个招呼:下面所有分数,都是 Recursive 自己测、自己报的。
Terminal-Bench 2.1:54.9%。
SWE-bench Pro v2:89.7%。
SWE-bench Verified:74.2%。
官方称,它在 50B 以下的 MoE 模型里领先,编程能力能和 25–40B 的稠密模型掰手腕,速度还快 5 倍以上。
速度这块也是官方自报:
用它自家的推理引擎,在 M4 Pro 的 MacBook Pro 上,每秒超过 125 个 token。
在 64GB 的 NVIDIA RTX Spark 上,每秒超过 150 个 token。
注意,官方特意写了前提:短上下文。官网图表里的速度又是另一个口径,是 128k token 整段会话的平均值,不含预填充(prefill)。
官方还称,最多比同类模型快 2 倍。
(冒昧了,我对一切自报的成绩单,都是先打个问号再看。)
还有一个限定词,我建议大家多看一眼:“50B 以下的 MoE 模型”。
这就好比拳击比赛分级别。
说自己是某个级别的冠军,不等于说自己能打赢所有重量级。
Recursive 很老实地给自己划了级别,这一点值得肯定。
但你读新闻的时候,千万别把“同级别领先”自动脑补成“全场第一”。
厂商自报不等于假。
但自报的成绩,就像饭店门口自己贴的“本店招牌菜”。
好不好吃,还得你自己夹一筷子。
04
这次真正让我觉得有意思的,不是分数。
是它怎么省。
前面说了,Flint 每个 token 激活的参数很少。
激活少了,就会冒出一个平时没人在意的问题:输出层(lm_head)在每个 token 要读的权重里,占的比例变大了。
打个不严谨的比方:一家公司裁到只剩几个人干活,前台的工资就显得特别扎眼。
所以 Recursive 干了一件“反常规”的事:连 lm_head 也一起压到了 4 bit。
压完精度会掉,怎么补?
官方的做法是:用模型自己采样出的一个小数据集(coreset)做离线蒸馏,16 bit 的原模型当老师。
官方称,这样用的训练步数,比他们的 QAT(量化感知训练)基线少了将近一半。
最终的 NVFP4 版本,在他们的基准上和 16 bit 版本相差不到 0.7 分。
说白了就是:能省的地方省到底,省完了再花小钱把损失找补回来。
这个思路,搁在哪个行业都通用。
05
还有一个细节,我琢磨了挺久。
官方说,Flint 是一个“人 + Agent”的小团队,从零开始,不到四个月训出来的。
里面有一个他们叫 Eureka Machine 的自动化研究系统。
这个系统干了什么?
据官方文章,模型的架构,就是它从一个 35B/3B 的基线出发,一路搜出来的 40B/2.5B。
量化方案,也是它搜出来的。
也就是说,造模型这件事,本身已经有一部分交给 Agent 了。
用 Agent 造模型,再让模型去当编程 Agent。
套娃套到这个份上,只能说,这个行业卷到最后,连“谁在干活”都开始说不清了。
06
最后看账本最实在的一行:怎么用,花多少。
许可证是 Apache 2.0。
Hugging Face 上放的是 BF16 权重,大约 80GB。
llama.cpp、Ollama、Unsloth、LM Studio、vLLM、SGLang 都已经支持。
Recursive 自己还做了一个轻量推理引擎叫 rec,目标硬件是 M4 Pro 和 M5 Pro/Max。
这一串名单,比分数更能说明问题。
一个模型好不好用,一半看本事,一半看“好不好装”。
主流的本地工具一上来就能接上,意味着你不用为了试一个模型,专门去折腾一套新环境。
这省下的是时间成本。
而时间成本,往往是本地部署这本账里最容易被忽略的一项。
另外,OpenRouter 上已经上架了 Flint 的免费版本(recursive/flint-v1.0:free),截至发稿标价为 0。
想先试试的,可以从这里下手,不用急着动自己的电脑。
还有一句官方的大实话,我觉得比所有分数都值钱:
复杂任务要拆小,指令要写明白,它需要的引导,比你用惯的那些大型闭源模型更多。
翻译一下就是:别把它当成万能的老师傅,把它当成一个手脚麻利、但需要你把活交代清楚的新人。
举个假设的例子(纯属假设,不是官方案例):
你想让它给一个项目加个登录功能。
一句“帮我加个登录”扔过去,大模型也许能猜个七七八八,它就未必。
更稳妥的做法,是先让它读懂现有的代码结构,再让它写接口,再让它补测试,一步一步来,每一步都说清楚要什么。
麻烦吗?麻烦。
但这份麻烦,本质上是你在用自己的时间,去换它的便宜和快。
这就是本地小模型的交易条件。
所以,这笔账到底算平了没有?
我的看法是:模型这头,Recursive 已经把能抠的都抠出来了。
剩下那头,是你自己的电脑,和你愿意花多少时间去给它把活拆清楚。
这两样,官方替你算不了。
只能说,本地 Agent 这条路,终于有人在认真抠成本了。
至于值不值,你自己的硬盘和耐心说了算。
来源:Recursive 官方文章;Hugging Face 模型卡;OpenRouter 免费版页面。基准分数、对比结论与每秒 125/150 token 的速度均为 Recursive 自报,未见第三方复测;正文速度的前提是短上下文,官网图表为 128k token 会话平均值(不含预填充);上下文 512k/建议 256k 为官方文章说法,模型卡配置记录为 262,144 token;OpenRouter 免费为发稿时状态,可能调整。