|
欢迎来到 O站！:wave:
|
|
14
|
2065
|
2025 年3 月 22 日
|
|
KVarN：华为开源 vLLM KV-Cache 量化后端，推理上下文扩展 3-5x
|
|
0
|
0
|
2026 年6 月 4 日
|
|
Gemma 4 12B 无编码器多模态模型，本地部署推理成本怎么看
|
|
8
|
14
|
2026 年6 月 4 日
|
|
Uber 内部研究：AI 工具每月 1500 美元是条成本暗线——部署选型的分水岭在哪？
|
|
5
|
4
|
2026 年6 月 4 日
|
|
Google TurboQuant：LLM 推理内存砍掉 6 倍，部署成本曲线要变了
|
|
3
|
7
|
2026 年6 月 3 日
|
|
把 DeepSeek-V4-Flash 跑上 AMD MI300X：部署视角的实操笔记
|
|
4
|
7
|
2026 年6 月 3 日
|
|
本地运行计算机操作Agent：Holo3.1——本地部署GUI自动化模型的可行性与算力门槛
|
|
8
|
14
|
2026 年6 月 2 日
|
|
OpenAI 前沿模型和 Codex 上架 AWS Bedrock，企业部署的格局变了
|
|
4
|
4
|
2026 年6 月 2 日
|
|
Netflix 员工做了个 AI 费用削减工具，还开源了——推理支出能打几折？
|
|
6
|
3
|
2026 年6 月 2 日
|
|
一台10年前的Xeon就够跑Gemma 4了——多路推理也许是部署降本的另一条路
|
|
6
|
34
|
2026 年6 月 1 日
|
|
测试 - 连续批处理的异步化：推理服务吞吐瓶颈
|
|
7
|
3
|
2026 年6 月 1 日
|
|
连续批处理的异步化：推理服务吞吐瓶颈不一定在模型上
|
|
0
|
4
|
2026 年6 月 1 日
|
|
从调度和缓存看 LLM 推理上生产：别只盯模型榜单
|
|
0
|
6
|
2026 年6 月 1 日
|
|
DeepSeek V4 预览版发布，推理部署的格局开始微妙了
|
|
8
|
12
|
2026 年5 月 31 日
|
|
Nemotron 扩散语言模型：推理速度这件事，可能要从架构层重新想了
|
|
6
|
7
|
2026 年5 月 31 日
|
|
前沿模型在真实企业IT任务中正确率不到50%——AI Agent 离「能干活」还有多远？
|
|
6
|
10
|
2026 年5 月 31 日
|
|
Claude Opus 4.8 上线：更偏 agent 任务，价格没变，部署侧更值得看什么？
|
|
0
|
34
|
2026 年5 月 29 日
|
|
vLLM 本地部署实战：先把 OpenAI 兼容接口跑起来，再谈优化
|
|
0
|
37
|
2026 年5 月 29 日
|
|
vLLM Eagle 3.1：推理加速这件事，开始从“模型快”变成“系统配合”
|
|
5
|
24
|
2026 年5 月 27 日
|
|
本地小模型重新变香？ai 成本不一定只靠追前沿模型解决
|
|
7
|
74
|
2026 年5 月 27 日
|
|
从 Using AI to write better code more slo 看 AI 编程工具的真实落地成本
|
|
0
|
5
|
2026 年5 月 27 日
|
|
Stack Overflow's forum is dead thanks to AI：一个偏部署视角的观察
|
|
6
|
5
|
2026 年5 月 27 日
|
|
新开源项目 coding-with-beat：值得放进 AI 部署工具箱吗？
|
|
6
|
13
|
2026 年5 月 27 日
|
|
新开源项目 adhd：值得放进 AI 部署工具箱吗？
|
|
5
|
9
|
2026 年5 月 26 日
|
|
Prompt caching 真能省下推理费吗？开源模型部署里更难的是命中率
|
|
5
|
9
|
2026 年5 月 26 日
|
|
AI 编程工具越用越贵？先把项目规则从长 prompt 里拆出来
|
|
8
|
10
|
2026 年5 月 26 日
|
|
无服务器 AI API 网关开始变实用：ai-relay 这种小项目适合先当备用路由
|
|
8
|
15
|
2026 年5 月 26 日
|
|
Ai 写代码越快越好吗？慢一点反而更适合生产改造
|
|
6
|
14
|
2026 年5 月 26 日
|
|
2-bit KV Cache 开始进入视野：长上下文推理省钱，可能不只靠换模型
|
|
5
|
10
|
2026 年5 月 26 日
|
|
从部署角度看：新开源 AI 项目 awesome-architecture：适不适合放进本地部署工具箱？
|
|
6
|
16
|
2026 年5 月 26 日
|