AI 工具箱
Rust 接管端侧调度，先看清 TensorRT-LLM 的边界
端侧 LLM 会为几毫秒反复抠性能，但瓶颈未必来自 Python。真正该查的是调用次数、同步、内存搬运和硬件后端。Rust 适合收紧关键路径；TensorRT-LLM 只能用于其支持的平台，不能被泛化成手机 NPU 的统
阅读全文
Search
站内搜索
关键词：性能优化
找到 18 篇相关文章
AI 工具箱
前沿研究
Python仍是主力，Rust开始守住AI生产链路
Python仍主导训练、Notebook和原型开发，Rust更适合LLM网关、本地Agent、工具运行时、MCP及内存敏感组件。所谓“去Python化”更像生产栈分工：保留Python的迭代速度，把故障代价高的热路径单独
阅读全文
AI 工具箱
chacun.cpp 开源一周，旧 iPhone 先撞上内存和温控
chacun.cpp 开源一周，Star 数突破 8500。我们把它装进 4GB 内存的 iPhone 11，复现读取 3.2MB CSV、三次工具调用和摘要生成：首次运行峰值占用 3.8GB，量化后常驻内存降到约 1.
阅读全文
开发者生态
AI 实操指南
Rust 重写推理调度器，性能账别只看吞吐
一次推理调度器迁移里，Rust 让 p99 延迟和内存稳定性变好，却在 FFI 边界损失了吞吐。C++ 老手关心的不是语言输赢，而是组件边界该怎么切。
阅读全文
开发者生态
Rust 写推理引擎，先别急着替 Python
vLLM、sglang 仍是推理服务主流。Rust 更现实的入口，是接管 tokenizer、批处理调度、后处理和网关这些延迟敏感环节，而不是一上来重写整个推理引擎。
阅读全文
开发者生态
A100跑大模型：Candle比PyTorch省了23%显存
一张A100 GPU，一个Llama 2 7B模型，1000次推理后得到一组数据：Candle延迟40ms，PyTorch 63ms；吞吐25比15.9 req/s；显存14.2GB比18.5GB。为什么差这么多？我们拆
阅读全文Rust 重写推理引擎：一场正在发生的语言迁移
2026 年的 AI 重心从参数规模转向单位经济，推理延迟和内存安全成为新的硬约束。PyTorch 插件、昇腾算子、端侧部署这些场景里，Rust 正在悄悄替换 C++ 和 Python，背后是 GIL 瓶颈和 OOM 这
阅读全文把3B模型塞进树莓派5：延迟、内存和功耗，我们实测了一遍
一个1.5B的蒸馏模型，在骁龙8 Gen 3手机上推理128个token需要150毫秒，在树莓派5上处理256个token则要1.2秒。我们用VibeThinker-3B等模型，在安卓手机和树莓派上对比了ONNX Run
阅读全文超越‘堆参数’：2026年小模型‘逆袭’现象深度剖析——以VibeThinker等案例为例
2026年，AI发展范式正从单纯追求模型参数规模转向注重效率与性能的平衡。本文以近期表现亮眼的VibeThinker为例，深度剖析小模型逆袭背后的关键技术路径（如SFT+GRPO）、原理及其在资源受限场景下的广阔应用前景
阅读全文算力‘民主化’进行时：解析2026年三大新兴开源推理框架的性能对决与选型指南
随着大模型从实验室走向规模化生产，推理框架的选择成为决定服务性能与成本的关键。本文基于2026年最新实测数据与版本迭代，深度对比vLLM、TGI、TensorRT-LLM等主流开源推理框架的架构、性能、适用场景，并提供面
阅读全文