开发者生态
Rust 写推理引擎，先别急着替 Python
vLLM、sglang 仍是推理服务主流。Rust 更现实的入口，是接管 tokenizer、批处理调度、后处理和网关这些延迟敏感环节，而不是一上来重写整个推理引擎。
阅读全文
Search
站内搜索
关键词：推理服务
找到 4 篇相关文章
开发者生态
开发者生态
Rust 正在靠近 AI 基建核心层
Rust 不是突然取代 Python，而是在 AI 基建里找到更适合自己的位置：模型之外的推理服务、检索链路、数据管道和高并发组件。性能、内存安全和 AI 编程工具的成熟，正在让它重新被开发者认真评估。
阅读全文
前沿研究
Rust 又被 AI 基础设施拉回牌桌
AI Coding 降低了 Rust 的上手阻力，但语言选型没有变成单选题。推理服务、向量数据库、长期在线组件更在意内存安全和稳定运行，Rust 的位置因此前移，Go 和 Python 仍各有边界。
阅读全文A100换910C实录：重写算子与调优HCCL的四个月
深圳星图智能历时四个月，将推理服务从A100迁移至昇腾910C。团队直面CANN 7.0动态Shape Bug及HCCL拓扑差异，通过Ascend C重写关键算子并优化通信，最终实现推理成本降低45%，自定义算子损耗控制
阅读全文