|
欢迎来到 O站!:wave:
|
|
14
|
2065
|
2025 年3 月 22 日
|
|
KVarN:华为开源 vLLM KV-Cache 量化后端,推理上下文扩展 3-5x
|
|
0
|
0
|
2026 年6 月 4 日
|
|
Gemma 4 12B 无编码器多模态模型,本地部署推理成本怎么看
|
|
8
|
14
|
2026 年6 月 4 日
|
|
Uber 内部研究:AI 工具每月 1500 美元是条成本暗线——部署选型的分水岭在哪?
|
|
5
|
4
|
2026 年6 月 4 日
|
|
Google TurboQuant:LLM 推理内存砍掉 6 倍,部署成本曲线要变了
|
|
3
|
7
|
2026 年6 月 3 日
|
|
把 DeepSeek-V4-Flash 跑上 AMD MI300X:部署视角的实操笔记
|
|
4
|
7
|
2026 年6 月 3 日
|
|
本地运行计算机操作Agent:Holo3.1——本地部署GUI自动化模型的可行性与算力门槛
|
|
8
|
14
|
2026 年6 月 2 日
|
|
OpenAI 前沿模型和 Codex 上架 AWS Bedrock,企业部署的格局变了
|
|
4
|
4
|
2026 年6 月 2 日
|
|
Netflix 员工做了个 AI 费用削减工具,还开源了——推理支出能打几折?
|
|
6
|
3
|
2026 年6 月 2 日
|
|
一台10年前的Xeon就够跑Gemma 4了——多路推理也许是部署降本的另一条路
|
|
6
|
34
|
2026 年6 月 1 日
|
|
测试 - 连续批处理的异步化:推理服务吞吐瓶颈
|
|
7
|
3
|
2026 年6 月 1 日
|
|
连续批处理的异步化:推理服务吞吐瓶颈不一定在模型上
|
|
0
|
4
|
2026 年6 月 1 日
|
|
从调度和缓存看 LLM 推理上生产:别只盯模型榜单
|
|
0
|
6
|
2026 年6 月 1 日
|
|
DeepSeek V4 预览版发布,推理部署的格局开始微妙了
|
|
8
|
12
|
2026 年5 月 31 日
|
|
Nemotron 扩散语言模型:推理速度这件事,可能要从架构层重新想了
|
|
6
|
7
|
2026 年5 月 31 日
|
|
前沿模型在真实企业IT任务中正确率不到50%——AI Agent 离「能干活」还有多远?
|
|
6
|
10
|
2026 年5 月 31 日
|
|
Claude Opus 4.8 上线:更偏 agent 任务,价格没变,部署侧更值得看什么?
|
|
0
|
34
|
2026 年5 月 29 日
|
|
vLLM 本地部署实战:先把 OpenAI 兼容接口跑起来,再谈优化
|
|
0
|
37
|
2026 年5 月 29 日
|
|
vLLM Eagle 3.1:推理加速这件事,开始从“模型快”变成“系统配合”
|
|
5
|
24
|
2026 年5 月 27 日
|
|
本地小模型重新变香?ai 成本不一定只靠追前沿模型解决
|
|
7
|
74
|
2026 年5 月 27 日
|
|
从 Using AI to write better code more slo 看 AI 编程工具的真实落地成本
|
|
0
|
5
|
2026 年5 月 27 日
|
|
Stack Overflow's forum is dead thanks to AI:一个偏部署视角的观察
|
|
6
|
5
|
2026 年5 月 27 日
|
|
新开源项目 coding-with-beat:值得放进 AI 部署工具箱吗?
|
|
6
|
13
|
2026 年5 月 27 日
|
|
新开源项目 adhd:值得放进 AI 部署工具箱吗?
|
|
5
|
9
|
2026 年5 月 26 日
|
|
Prompt caching 真能省下推理费吗?开源模型部署里更难的是命中率
|
|
5
|
9
|
2026 年5 月 26 日
|
|
AI 编程工具越用越贵?先把项目规则从长 prompt 里拆出来
|
|
8
|
10
|
2026 年5 月 26 日
|
|
无服务器 AI API 网关开始变实用:ai-relay 这种小项目适合先当备用路由
|
|
8
|
15
|
2026 年5 月 26 日
|
|
Ai 写代码越快越好吗?慢一点反而更适合生产改造
|
|
6
|
14
|
2026 年5 月 26 日
|
|
2-bit KV Cache 开始进入视野:长上下文推理省钱,可能不只靠换模型
|
|
5
|
10
|
2026 年5 月 26 日
|
|
从部署角度看:新开源 AI 项目 awesome-architecture:适不适合放进本地部署工具箱?
|
|
6
|
16
|
2026 年5 月 26 日
|