Thinking Machines Lab 今天发布了 Inkling——他们的第一个开放权重模型。这是一款 975B 总参数（41B 活跃）的 MoE 架构模型，原生支持文本、图像和音频输入，上下文窗口达到 1M tokens。
从部署角度看，有几个点值得关注。
首先是参数量级。975B 是 Llama 家族的 2-3 倍，但 MoE 结构让活跃参数只有 41B，意味着推理时的计算需求跟 40B 左右的 dense 模型相当。这对硬件选型来说是个有趣的折中：存储需要容纳接近 1T 参数的权重（FP16 约 1.9TB，量化后可以大幅压缩），但每次前向传播只激活约 41B 参数的计算量。
其次是可控推理深度（controllable reasoning effort）。这个机制允许在推理时调节计算投入——需要深度推理的任务可以分配更多计算，简单任务则用轻量模式。对 API 提供方来说，这意味着一个模型可以覆盖多个性价比档次，而不需要维护多个不同大小的模型。
第三是 1M 上下文。长上下文推理对 KV cache 的需求是非线性的——1M tokens 的 KV cache 在 41B 活跃参数下大约需要 10-15 GB 显存（FP16），这比同参数量级的 dense 模型要友好很多。不过前提是推理框架要支持 MoE 的 KV cache 管理优化。
Inkling 已经可以通过 Tinker 平台进行微调。团队还用 Inkling 做了一个自我微调的演示——模型自己写微调任务、执行、并评估结果。
内容来源：Thinking Machines Lab 官方博客、HN 讨论（586 赞、144 条评论）