Agent 已经能自己写代码，工作流为什么还不能省？
Auto-coding Agent 能临时写 Python、调用 API、处理数据，省掉不少画布节点。但在生产环境里，鉴权、状态切换、外部写入和回滚仍需固定且可审计。更合适的分工，是让 Agent 处理局部变化，让工作流
阅读全文
Search
站内搜索
关键词：LLM
找到 51 篇相关文章
32GB 显存跑 70B，先算清 4-bit 的账
70B 模型做 4-bit 后，权重理论值仍约 35GB，单张 32GB 显卡还没给 KV Cache 和框架开销留空间。更现实的办法是用 GGUF 分层卸载、选择更低比特，或改用 32B 模型。
阅读全文2026下半年LLM推理成本监控：除了KV Cache还能优化哪里？
2026年推理成本已占AI总支出的80%。在KV Cache压缩成为基建后，真正的降本空间转移到了FP8量化的生产级稳定性、基于语义路由的混合模型调度以及精细化的Token计费模型上。本文拆解如何在保证精度前提下，通过工
阅读全文
AI 工具箱
LLM推理账单怎么降：2026年先查这20处浪费
一次 Agent 项目复盘里，API 调用费占总成本 67%，30% 的 Token 花在重复 Prompt、过长上下文和无效中间推理上。围绕这张账单，文章拆出 20 个排查点，涵盖量化、缓存、路由、批处理、硬件和 To
阅读全文别让Agent偷刷你的信用卡：用三款开源工具卡死API异常消费
Agent死循环导致API账单飙升屡见不鲜。2026年7月Visa、Stripe等成立x402基金会着手制定AI支付标准，但在标准落地前，开发者需要先用开源工具装上「水表」。本文评测LiteLLM、Langfuse、Po
阅读全文
AI 实操指南
10B模型如何在单卡RTX 6000上实现毫秒级响应：量化实战
针对 10B 参数量级模型，在 RTX 6000 48GB 显存环境下，对比 FP8、INT4 及混合精度量化的显存占用与推理延迟，提供一套基于 TensorRT-LLM 的具体部署方案与性能实测数据。
阅读全文Agent账单失控前，企业要先装上“水表”
Agent进入业务流程后，长上下文、重复推理和失败重试都会抬高账单。可执行的做法，是把每次请求归属到团队和功能，设置预算、熔断与人工接管，再用 LiteLLM 这样的代理层统一记录、限额和路由。
阅读全文
前沿研究
vLLM还是TensorRT-LLM：别脱离负载谈性能
vLLM更适合请求波动大、模型切换频繁的服务；TensorRT-LLM更适合NVIDIA硬件上模型稳定、愿意承担编译维护成本的场景。压测必须固定模型、精度、上下文、并发和硬件，单独的吞吐数字无法直接换算成成本。
阅读全文
AI 工具箱
Rust 接管端侧调度，先看清 TensorRT-LLM 的边界
端侧 LLM 会为几毫秒反复抠性能，但瓶颈未必来自 Python。真正该查的是调用次数、同步、内存搬运和硬件后端。Rust 适合收紧关键路径；TensorRT-LLM 只能用于其支持的平台，不能被泛化成手机 NPU 的统
阅读全文
AI 实操指南
复杂 Agent 别再堆 Prompt，先把任务链画成状态机
复杂 Agent 同时处理需求解析、工具调用、预算校验和异常恢复时，长 Prompt 很快会变成难以调试的流程控制器。把任务拆成状态、事件和转移规则，让 LLM 只处理当前节点，重试、回跳与失败收口则交给代码。
阅读全文
前沿研究
RISC-V 芯片跑通 LLM：从边缘传感器到车载座舱的实时响应
分析 RISC-V 架构如何通过自定义指令集和向量扩展（RVV）优化量化 LLM 部署，探讨其在车载座舱和工业传感器场景中解决功耗发热痛点、实现毫秒级响应的工程路径。
阅读全文
AI 工具箱
vLLM 为什么快，先看它怎么管理 KV Cache
vLLM 的性能优势，核心来自 PagedAttention 对 KV Cache 的分页管理。它借鉴虚拟内存，把逻辑连续的数据映射到非连续内存块，再配合块级调度和缓存共享，减少显存浪费。长上下文能快多少，仍取决于模型、
阅读全文