paddock：用Rust重写LLM推理，NVIDIA GPU上的轻量级服务端

当开源模型越来越多，如何把它们高效地跑在自己的 GPU 上，成了不少团队绕不开的问题。常见的做法是部署一套 Python 写的推理框架，但随之而来的是依赖管理、性能损耗和资源占用。paddock 选择了一条不同的路：用 Rust 从头写一个推理服务端，目标很直接——在 NVIDIA GPU 上把开放模型跑得更轻、更快。

Rust 带来的实际差异

Rust 的内存安全和零成本抽象，在推理场景里能转化成实实在在的优势。没有垃圾回收的停顿，内存占用更可控，启动时间也短。paddock 的仓库里能看到它支持 GGUF 和 safetensors 两种主流格式，这意味着从 Hugging Face 上下载的模型基本都能直接加载，不用做格式转换。它还能处理 FP8、NVFP4、MXFP4、Q8、Q4 这些量化格式，对显存有限的用户来说，能跑更大的模型或者留出更多空间给并发请求。

兼容 API，迁移成本低

paddock 提供了 OpenAI 和 Anthropic 两种兼容 API。这意味着如果之前用 OpenAI 的 SDK 或客户端，现在只需要把 base_url 指向 paddock 的地址，就能无缝切换。对已经用 LangChain、LlamaIndex 这类工具链的团队，几乎不用改代码。内置的 Studio 界面则让不熟悉命令行的用户也能上传模型、查看推理状态，降低了上手门槛。

定价与开源策略

paddock 的核心引擎是开源的，采用 NOASSERTION 协议，源码托管在 GitHub 上，目前有 63 个 star，虽然不算多，但社区讨论已经出现，比如有开发者分享在 Mac 上通过 GGUF 头信息直接运行模型的经验。至于定价，paddock 提供免费版和付费档位，付费档位定价 21 美元。免费版足以本地跑模型，付费档位则可能针对更高级的功能或服务，具体差异需要查看官方文档。

适合谁用

如果你手头有一块 NVIDIA GPU，想用 Rust 的高性能来跑开源模型，而且希望 API 兼容 OpenAI 或 Anthropic，paddock 值得关注。它的量化支持和轻量级设计，对资源敏感的边缘场景或快速原型验证都挺合适。不过，如果团队已经深度依赖 Python 生态的推理框架，迁移成本可能高于收益。

在开发者社区，paddock 的 Rust 实现和量化支持已经引起了一些讨论，虽然星标数还不高，但方向是对的。对于想避开 Python 推理栈、追求极致性能的团队，它提供了一个值得测试的新选项。

FAQ：常见问题

paddock 支持哪些模型格式？

paddock 支持 GGUF 和 safetensors 两种格式，覆盖了 Hugging Face 上绝大多数开放模型。同时支持 FP8、NVFP4、MXFP4、Q8、Q4 等量化格式，方便在显存有限的 GPU 上运行更大模型。

paddock 的 API 兼容性如何？

paddock 提供 OpenAI 和 Anthropic 两种兼容 API，意味着你可以直接使用现有的 OpenAI SDK 或 Anthropic SDK，只需修改 endpoint 地址即可切换到 paddock，无需重写代码。