NeoHorse 用路由式后训练让智能体自己迭代:开源模型的一条自改进路径

6小时前发布 土豆服务器
2 0 0

训练一个能自己变强的智能体,卡点往往不在算力,而在“改完之后怎么知道真的改对了”。NeoHorse-1 给出的答案是:把后训练过程本身交给智能体,再用一层路由机制去决定每一步该调用哪个策略、哪个数据、哪个反馈信号。它不是一个聊天产品,而是一套围绕递归自我改进(Recursive Self-Improvement)搭建的后训练框架,仓库挂在 TokenRhythm 名下,用 Apache-2.0 协议开放。

Routing Harness 到底在训练流程里做了什么

NeoHorse 官网截图

后训练通常是一串固定动作:采样、打分、更新、评估。NeoHorse-1 在这条链上加了一个路由层,官方描述里把它叫 Routing Harness。它的作用不是替模型做推理,而是在训练循环里动态分配任务——哪一批样本走奖励模型、哪一批走规则校验、哪一批直接回灌成新的训练信号,由路由决定。

这样做的直接结果是,智能体在训练阶段就能拿到“自己产出的数据”,形成一轮一轮的递归改进。仓库主题标签里同时挂了 agent、post-training、recursive-self-improvement 和 rsi,说明这套东西的定位非常明确:面向研究和小规模实验,而不是给普通用户开箱即用的对话工具。

模块 在流程里的位置 作用
Routing Harness 训练循环中层 动态决定样本与反馈信号的走向
Agentic Post-Training 更新阶段 由智能体参与后训练决策
Recursive Self-Improvement 整体目标 让每轮产出成为下一轮输入

从仓库结构能看出它给到哪一步

仓库导航里列出的章节包括 News、Highlights、Model Downloads、Model Details、Evaluation、Deployment、License 和 Citation。这个顺序信息量不小:模型权重可下载、评测方法有交代、部署路径也写了,说明它不是只丢一篇论文配几行伪代码,而是把复现需要的东西按顺序摆出来了。

Apache-2.0 的协议意味着代码可以商用、可以改、可以闭源分发,只要保留声明。95 个星标放在 GitHub 上不算高热度,但结合 rsi 这个相对窄的方向,属于早期项目里文档结构比较完整的那一类。语言字段为空,说明仓库以配置和文档为主,没有明显的主语言统计,实际使用时需要按 Model Details 和 Deployment 两节去搭环境。

免费开源,付费 $21 的档位买的是什么

先把最容易误会的一点说清楚:NeoHorse 的核心代码和模型是开源免费的,Apache-2.0 允许你直接拉下来跑。定价页上的三档——免费版 $0、individual $0、付费档位 $21——针对的不是代码本身,而是围绕它的服务层。免费版和 individual 档都标 $0,这两档之间的差别不在金额上,而在于 individual 更偏向单人使用的服务化入口;$21 那一档才是真正要掏钱的位置。

档位 价格 适合什么情况
免费版 $0 自托管跑开源模型、做复现实验
individual $0 单人使用服务化入口
付费档位 $21(USD) 需要托管服务或更高使用强度的个人

按 $21 这个数字判断,它更像个人档的托管价格,而不是团队席位费。真正做后训练实验的人,$0 那一档配合自己的机器就够;只有当不想自己维护部署、又需要稳定调用时,$21 才有意义。团队规模上去之后,按席位算的 $21 会迅速变得不划算,那种情况下自托管才是合理选择。

谁该现在上手,谁可以再等等

这套框架的价值集中在“把后训练流程模块化”这件事上。需要研究智能体自改进、想在自己的数据上验证路由策略是否有效的人,能直接从 Routing Harness 这一层切入,改路由规则比改整个训练脚本轻得多。做模型评测和复现的,Evaluation 和 Model Downloads 两节能省掉不少找权重、对齐指标的时间。

反过来,只想找一个能对话、能调 API 的现成模型的,NeoHorse-1 不是那个东西。它没有面向终端用户的产品外壳,部署和调参的门槛摆在那里。95 个星标也说明社区规模还小,遇到问题时能搜到的现成答案有限,得习惯读仓库文档和 Citation 里的原始材料。

免费档 $0 足够跑通全流程,$21 那一档留给不想碰部署的人;要拿它做团队级的生产训练,先算清楚自托管和按人付费哪个更便宜,再决定要不要碰付费档。

FAQ:常见问题

NeoHorse 是开源免费的吗,为什么还有 $21 的付费档?

代码和模型本身开源,Apache-2.0 协议下可以免费下载、修改和商用。定价页上的免费版和 individual 档都是 $0,$21 那一档针对的是托管服务层,不是代码授权费。自己部署的话,$0 档就能跑完整流程。

NeoHorse-1 和普通的 LLM 后训练框架有什么区别?

区别在 Routing Harness 这一层:它在训练循环里动态决定样本和反馈信号走哪条路径,让智能体参与后训练决策,从而支持递归自我改进。普通后训练框架通常是固定的采样—打分—更新流程,路由策略不参与决策。

© 版权声明

相关文章

没有相关内容!