AI 工具箱
Rust 接管端侧调度，先看清 TensorRT-LLM 的边界
端侧 LLM 会为几毫秒反复抠性能，但瓶颈未必来自 Python。真正该查的是调用次数、同步、内存搬运和硬件后端。Rust 适合收紧关键路径；TensorRT-LLM 只能用于其支持的平台，不能被泛化成手机 NPU 的统
阅读全文
Search
站内搜索
关键词：瓶颈
找到 88 篇相关文章
AI 工具箱
技术应用
端侧32B模型上车：手机散热与功耗的隐形天花板在哪？
骁龙8 Gen 5手机实测显示，INT4量化32B模型运行十分钟后，生成速度从8 token/s跌至3 token/s。本文对比RTX Spark的45—80W主动散热与手机的被动极限，剖析内存墙与NPU架构的真实瓶颈，
阅读全文
前沿研究
视觉语言模型进化：2026年多模态理解瓶颈在哪
2026年，GPT-5与Gemini 2.5 Pro在多模态基准上屡创新高，但复杂真实场景下理解错误仍频发。本文结合CVPR 2026、AAAI 2026等最新研究，剖析视觉表征敏感、评测滞后、数据短缺与系统协同缺失四大
阅读全文昇腾910D集群避坑：多机通信带宽瓶颈与HCCL调优实战
针对昇腾910D大规模集群训练中常见的通信瓶颈问题，本文通过实测数据分析多机AllReduce延迟原因，提供一套从拓扑感知到HCCL参数调优的实操方案，旨在将千卡集群的MFU（模型算力利用率）从30%量级提升至50%以上
阅读全文当 Cursor V4 开始改整个仓库，评审先成了瓶颈
Cursor把AI编程从补全推向可交付的Agent任务。公司方面称已有35%的代码由AI完成。产出变快后，真正吃紧的是评审：大Diff混合实现、接口和测试，CI通过也不等于业务边界没变。
阅读全文
前沿研究
工业质检不只拼算力，RISC-V方案能替代哪些GPU节点
高温、粉尘、密闭机箱和连续运行，会让风扇与功耗先于 TOPS 成为工业质检的瓶颈。RISC-V 并非天然比 GPU 省电，但配合定制 NPU、RVV 和量化模型，它有机会在任务固定的边缘节点上，用够用的算力换取更简单的散
阅读全文告别Prompt工程：2026年Agent自主规划能力的真实分水岭
2026年4月，腾讯云开发者社区发文称Prompt工程师薪资已较2024年高点下跌超40%，MCP协议普及让工具调用标准化，但复杂任务的自主规划成为新瓶颈。本文拆解ReAct、Plan-and-Execute等框架的架构
阅读全文
技术应用
辅助驾驶从L2+跨越到L3：法规落地后的首批车主体验报告
2025年底工信部发放首批L3级自动驾驶许可，长安深蓝与极狐获批。本文追踪京沪两地10位首批车主在2026年7月的真实使用数据，对比L2+与L3在接管频率、信心度及长尾场景处理上的差异。脱敏行车数据显示，L3在城市道路的
阅读全文
前沿研究
自动驾驶L3级普及前夜：城市NOA的长尾场景与责任界定难题
2025年底深蓝获首批L3号牌，乘联数据显示新能源L2+装车率超82%。但暴雨与无保护左转等长尾场景仍是技术瓶颈，端侧推理带宽受限加剧了这一难题。系统日志成为事故定责的核心，其不可篡改性是L3时代权责界定的关键。
阅读全文
前沿研究
Arm高管谈端侧AI：2026年移动芯片的推理带宽瓶颈不只在TOPS
2026年端侧大模型进入规模化落地期，Arm高管指出移动芯片的真正瓶颈并非TOPS堆叠，而是总线与内存带宽。苹果AFM 3用稀疏架构规避访存，行业从拼算力转向拼架构命中率。
阅读全文
前沿研究
MoE 架构跑通万亿参数了，但显存碎片正在拖垮推理速度
MoE 模型的万亿参数竞赛并未带来推理端的红利，反而因专家权重全量驻留引发的显存碎片化和访存瓶颈，让推理延迟居高不下。本文拆解 Llama-4 类架构下的调度难题，并结合昇腾等厂商的最新无损优化方案，探讨从算子调度到底层
阅读全文
开发者生态
昇腾910C千卡集群排雷：分布式通信瓶颈与显存优化实录
基于8000P园区实战，拆解昇腾910C在万卡规模下的高频报错。从HCCS通信死锁到显存碎片化，提供可复用的调试脚本与CANN参数调优方案，直击国产算力大模型训练的工程深水区。
阅读全文