先做老师,再教学生:Nanbeige4.3-33B 开源
BOSS 直聘南北阁团队开源 Nanbeige4.3-33B 和 Base 版,定位是先当“教师智能体”再蒸馏小模型;3B 学生模型截至发稿还没上线。
小模型是怎么来的
很多人用过小模型,但不一定想过,小模型是怎么来的。
一个常见的答案是:很多小模型,是大模型教出来的。
这种做法叫做"蒸馏"(distillation)。先训练一个能力强的大模型,让它当老师,再用它的输出去训练小模型,小模型就是学生。
学生的能力,很大程度上取决于老师的水平。老师自己都不会,学生也学不到。
所以,如果你想要一个好用的小模型,第一步不是训练小模型,而是先把老师训练好。
这个道理,学过数学的人都懂。一个好老师,不光告诉你答案,还会把解题过程一步一步写在黑板上。学生抄到的,不只是最后一行的结果,还有中间的思路。
对 agent 任务来说,中间的思路尤其重要。一个任务往往要分很多步:先看文件,再跑命令,看到报错,再改代码。哪一步想错了,后面全白做。
小模型自己摸索这些步骤,很容易迷路。如果有一个老师先把路走通,再把走法教给它,就容易多了。
10 月 26 日,DoNews 报道了一个按照这个思路来的开源项目:BOSS 直聘的南北阁团队,开源了 Nanbeige4.3-33B。
Hugging Face 上的记录显示,这个仓库创建于 10 月 24 日。
一个"教师智能体"
Nanbeige4.3-33B 的定位,很直白,就是教师智能体。
团队的计划是:先把它在 agentic coding(让模型自己写代码、跑命令、改错)和 cowork(协同办公)上的能力做强,然后再蒸馏出 Nanbeige4.3-3B 等小模型。
同时,他们还放出了 Base 版,供大家拿去做二次后训练。
这一点很重要。很多开源模型只发布最终的对话版,你只能直接用,很难在上面继续改。放出 Base 版,等于把"教材的底稿"也给了你。
举个假设的例子。假设你的公司有大量内部文档和专用工具,通用模型不熟悉。有了 Base 版,你就可以用自己的数据,在它上面继续训练,得到一个更懂你们业务的版本。
下面是它的基本参数(来自 Hugging Face 模型卡)。
1、参数量 33.1B,稠密模型(Llama 结构,不是混合专家),权重格式 BF16。
2、上下文长度 524,288(即 512K)。
3、许可证是 Apache 2.0(以 Hugging Face 仓库标注为准)。
三个开关
这个模型的聊天模板,有三个开关,值得单独说一下。
1、enable_thinking:是否开启思考。
2、preserve_thinking:多轮对话时,是否保留之前的思考内容。模型卡建议,多轮工具调用、办公、code agent 这类场景,设为 True;普通聊天可以关掉。
3、tools:工具调用的格式,推荐 tool_call_format="xml"。
第二个开关最有意思。
一般的思考模型,每轮对话结束,思考过程就扔掉了,下一轮只看结论。这对聊天没问题,但对 agent 就不太好:它前面为什么这么做,后面就不记得了。
preserve_thinking 就是让它把"草稿纸"留着。
模型卡还给了两套推荐参数:agent 任务用温度 1.0、top_p 0.95、最大新 token 65,536;推理聊天用 0.6、0.95、262,144。
部署方面,SGLang 和 vLLM 的示例都是 4 路张量并行。
上手的顺序
如果你打算试一下,按照模型卡的说明,大致是下面的顺序。
1、从 Hugging Face 的 Nanbeige/Nanbeige4.3-33B 仓库下载权重。
2、用 SGLang 或 vLLM 部署,照着官方示例开 4 路张量并行。
3、跑 agent 任务时,打开 enable_thinking 和 preserve_thinking,工具格式用 xml,采样参数用 agent 那一套。
4、拿你自己手上的真实任务,和现在在用的模型对比一下。
最后一步最容易被跳过,但它其实最重要。别人的榜单,替代不了你自己的任务。
成绩单
大家猜猜看,一个 33B 的模型,成绩怎么样?
下面的数字,全部来自模型卡自报。按模型卡的说法,所有模型都用最高思考强度、同一个 harness 测(Terminal-Bench 4.0 和 DeepSWE 用的是 mini-swe-agent v2.4.6),Nanbeige 自己测的时候开了 preserve_thinking=true。
先看领先的项目。
1、Terminal-Bench 2.1:80.9,对比的 Qwen3.8-27B 是 73.0。
2、Terminal-Bench 4.0:23.8,Qwen3.8-27B 是 6.3。
3、DeepSWE:65.5,Qwen3.8-27B 是 42.5。
4、Automation Bench:54.2,Qwen3.8-27B 是 38.3。
5、AIME 2026:95.2。
再看落后的项目。模型卡也老老实实写了。
1、SWE-Bench Pro:60.3,落后于 Qwen3.8-27B 的 61.7。
2、GDPval:84.8,落后于 Qwen3.8-27B 的 86.4。
3、GPQA Diamond:89.5,Gemma4-31B 的 91.3 更高。
表中的对比对象,还有 Muse-Glimmer-30B 和 Gemma4-31B。
我的感觉是,它的长处集中在终端和自动化任务上,这正好对应了"先把 agentic coding 和 cowork 做强"的目标。而在偏知识问答的 GPQA 上,它并不占优。
当然,这些都是厂商自报的成绩。不同的评测设置,结果可能差别很大,最好用你自己的任务试一下。
学生还没来
讲到这里,有一个问题。
这个项目最吸引人的地方,是"老师教出来的小模型"。那么,学生在哪里?
答案是:还没有。
截至发稿,Nanbeige 在 Hugging Face 上只放了 33B 和 33B-Base 两个仓库,Nanbeige4.3-3B 还没有上线,也没有公布时间表。
所以,现在能拿到的,只有老师本人。
这有点像一所学校,名师已经到岗了,课程表也贴出来了,但第一届学生什么时候入学,还没有通知。
这就带来一个现实问题:老师本人不轻。33B 的稠密模型,BF16 权重,官方示例要 4 路张量并行。个人开发者想在自己的电脑上跑,并不容易。
怎么解决呢?
据媒体报道,社区里已经有人在问了,主要是两个要求。
1、FP8 版本。量化以后,显存需求会降下来,部署门槛就低了。
2、技术报告。现在只有模型卡,训练数据、蒸馏方法这些细节,还看不到。
这两样东西出来之前,这个项目更适合有算力的团队:拿 Base 版做二次后训练,或者自己尝试用它当老师,去蒸馏自己的小模型。
一句话总结
Nanbeige4.3-33B 的思路是:先做好老师,再教学生。
现在老师已经到了,学生还在路上。
如果你需要一个开源的、偏 agent 任务的中等规模模型,并且手上有足够的显卡,可以试试它。
如果你等的是能在小设备上跑的版本,那还要再等等。
(完)
来源:Hugging Face 模型卡;Base 版仓库;DoNews。参数量、结构、上下文和 Apache-2.0 许可据 Hugging Face 仓库;所有成绩为模型卡自报,对比对象为 Qwen3.8-27B、Muse-Glimmer-30B、Gemma4-31B,测试条件以模型卡为准,未见第三方复测;社区对 FP8 版和技术报告的诉求据媒体报道;“长处集中在终端和自动化任务”为作者观察。