Tether(USDT 发行方,市值超 1000 亿美元)旗下的 QVAC 团队本周发布了全球首个跨平台 BitNet LoRA 框架,让 13B 参数的 BitNet b1.58 模型可以在消费级 GPU 甚至手机上完成训练和推理。
BitNet b1.58 是微软研究院提出的 1.58-bit 量化方案,权重只有三个值 {-1, 0, +1}。相比传统 FP16 推理,内存占用降低约 16 倍,同时保留了大模型的核心生成能力。QVAC 做的事情是:在 RTX 4090 这样的消费卡上跑 BitNet 模型的 LoRA 微调,然后在 iPhone 或 Android 设备上做本地推理。
对于 AI 部署从业者来说,这个故事不只关于技术突破,更关乎推理成本结构的重构:
第一,算力门槛的变化。13B 模型能在手机上本地跑,意味着离线 RAG、端侧 Agent、隐私敏感场景不再需要调云 API——推理成本直接降到零。这不是渐进式优化,是量级变化。
第二,跨平台兼容不是噱头。这个框架覆盖 Qualcomm、Apple、MediaTek 的主流移动芯片,不绑定在某家硬件上。对于需要多终端覆盖的团队,部署复杂度可以大幅降低——一套模型多平台运行。
第三,生态信号。Tether 把这套体系叫做 Stable Intelligence Layer,说明他们不只是在做技术实验,而是想建一个边缘 AI 基础设施层。一个千亿美元市值的稳定币公司来推边缘 AI 推理,这个动向本身就值得关注。
(配图:Tether QVAC 官方公告中展示的 BitNet LoRA 技术架构图)
对比其他边缘推理路径:
- GGUF / llama.cpp:标准 Transformer 的 CPU 推理,生态成熟但仍是传统架构的量化压缩
- AWQ / GPTQ:训练后量化,精度损失可控,依赖原始模型架构
- BitNet:架构级改造,从第一性原理改变权重表示,但不是直接压缩已有模型,需要新的权重发行生态
目前的现实限制:
- BitNet 模型生态还在早期,主流开源模型大多没有 BitNet 权重版本
- QVAC 的 LoRA 微调方案在 task-specific 场景可用,但通用能力迁移还需要更多验证
- 手机端推理速度对标桌面 GPU 还有明显差距,具体 tok/s 数据目前未公开
但方向很清楚:当一家千亿级公司把真金白银投入 1.58-bit 推理框架,边缘 AI 的部署成本曲线正在被重新定义。对于做端侧部署的团队,BitNet 生态值得从现在就开始关注。
内容来源
TechCrunch:Tether is pushing the 13-billion parameter BitNet b1.58 LLM to the edge
Tether QVAC official announcement(tether.io)
Computerworld:Democratizing AI adoption with Tether Bitnet LLM fine-tuning framework