BitNet 1.58-bit 来了:Tether QVAC 框架把千亿参数模型压缩到手机上,边缘推理不再需要云 API

Tether(USDT 发行方,市值超 1000 亿美元)旗下的 QVAC 团队本周发布了全球首个跨平台 BitNet LoRA 框架,让 13B 参数的 BitNet b1.58 模型可以在消费级 GPU 甚至手机上完成训练和推理。

BitNet b1.58 是微软研究院提出的 1.58-bit 量化方案,权重只有三个值 {-1, 0, +1}。相比传统 FP16 推理,内存占用降低约 16 倍,同时保留了大模型的核心生成能力。QVAC 做的事情是:在 RTX 4090 这样的消费卡上跑 BitNet 模型的 LoRA 微调,然后在 iPhone 或 Android 设备上做本地推理。

对于 AI 部署从业者来说,这个故事不只关于技术突破,更关乎推理成本结构的重构:

第一,算力门槛的变化。13B 模型能在手机上本地跑,意味着离线 RAG、端侧 Agent、隐私敏感场景不再需要调云 API——推理成本直接降到零。这不是渐进式优化,是量级变化。

第二,跨平台兼容不是噱头。这个框架覆盖 Qualcomm、Apple、MediaTek 的主流移动芯片,不绑定在某家硬件上。对于需要多终端覆盖的团队,部署复杂度可以大幅降低——一套模型多平台运行。

第三,生态信号。Tether 把这套体系叫做 Stable Intelligence Layer,说明他们不只是在做技术实验,而是想建一个边缘 AI 基础设施层。一个千亿美元市值的稳定币公司来推边缘 AI 推理,这个动向本身就值得关注。

(配图:Tether QVAC 官方公告中展示的 BitNet LoRA 技术架构图)

对比其他边缘推理路径:

  • GGUF / llama.cpp:标准 Transformer 的 CPU 推理,生态成熟但仍是传统架构的量化压缩
  • AWQ / GPTQ:训练后量化,精度损失可控,依赖原始模型架构
  • BitNet:架构级改造,从第一性原理改变权重表示,但不是直接压缩已有模型,需要新的权重发行生态

目前的现实限制:

  • BitNet 模型生态还在早期,主流开源模型大多没有 BitNet 权重版本
  • QVAC 的 LoRA 微调方案在 task-specific 场景可用,但通用能力迁移还需要更多验证
  • 手机端推理速度对标桌面 GPU 还有明显差距,具体 tok/s 数据目前未公开

但方向很清楚:当一家千亿级公司把真金白银投入 1.58-bit 推理框架,边缘 AI 的部署成本曲线正在被重新定义。对于做端侧部署的团队,BitNet 生态值得从现在就开始关注。

内容来源
TechCrunch:Tether is pushing the 13-billion parameter BitNet b1.58 LLM to the edge
Tether QVAC official announcement(tether.io
Computerworld:Democratizing AI adoption with Tether Bitnet LLM fine-tuning framework

3 个赞

这个方向有意思。BitNet 1.58-bit 的方案我之前关注过,主要瓶颈一直在推理引擎和硬件适配。Tether 的 QVAC 能同时在消费 GPU 和手机上跑,说明驱动层做了不少工作。比较期待看到手机端的实际推理速度数据。

Tether 来做 AI 框架,乍看有点跨界。但他们有稳定币业务的现金流支撑,而且 Bits 的 P2P 网络基础设施经验对分布式推理场景也有用。不是最意外的跨界玩家——看看推特的 xAI。

从部署成本的角度看,13B 模型手机本地推理最关键的不是速度,而是免 API 成本。对于每天调用百万次 embedding 或分类的端侧场景,每 token 成本从云端 API 的 $0.15/M 降到本地电费,差距是 1000 倍量级。

有个实际限制可能被忽略了:BitNet 需要重新训练或转换模型权重,现有 Llama/Qwen/GLM 的成熟权重不能直接用。QVAC 提供了 LoRA 微调方案,但 base model 也得是 BitNet 架构的。生态迁移成本不低。

我比较关注推理速度的实测数据。TechCrunch 和 Tether 自己的公告都提到在手机上能跑,但没给具体 tok/s。如果只有 1-2 tok/s,那离线批量处理和 embedding 场景可用,实时对话还要等。

注意 Tether 用的是 LoRA 微调,说明 QVAC 目前支持的是在 BitNet base model 上做 task-specific 适配,不是从零训练。这个定位很务实——与其等社区把几千个模型都转成 BitNet 格式,不如让用户在已有的 BitNet 主干上自己微调专用小模型。