Llama 5 预览背后，模型厂商开始认真算 Token 账
Llama 5 预览把显存占用、首字延迟、并发和单次任务成本摆上台面。影响模型落地的，已经不只是参数与上下文窗口，还有 KV Cache、专家路由和整条推理链路的效率。
阅读全文
Search
站内搜索
关键词：推理
找到 301 篇相关文章
3B模型的端侧“慢思考”，关键不只在思维链
3B—7B小模型想在手机上多想一步，需要任务路由、短步骤推理、检索、校验和云端兜底共同工作。Qwen3与vivo、面壁智能的公开信息，把端侧问题从“能不能跑”推进到“能不能稳定完成任务”。
阅读全文国产端侧大模型下半场：谁在卷首 token 延迟
2026年端侧AI已从跑分转向体感优化。本文通过拆解3B-7B模型的首token延迟（TTFT），分析内存带宽瓶颈与KV Cache压缩技术，探讨硬件厂商如何通过架构升级解决AI手机卡顿，揭示端侧推理的真实性能分水岭。
阅读全文MoE架构下放边缘设备，内存墙还在怎么破
MoE架构通过稀疏激活降低了计算量，但其庞大的参数体量在端侧设备上触发了严重的内存带宽瓶颈。本文分析MoE在手机端的“存储墙”困境，并提供KV Cache量化与专家路由控制的实操方案，帮助开发者在有限显存下跑通模型推理。
阅读全文
技术应用
GPT-5重大更新后，大厂私有化部署的算力账单又超了
面对GPT-5带来的推理成本通胀与API价格战的矛盾，企业级AI部署正陷入“算力陷阱”。本文通过采访三家企业IT负责人，拆解云端调用与私有化部署的真实盈亏拐点，并提供一套基于AI FinOps的降本操作手册。
阅读全文
前沿研究
3.6万帧之后，多模态模型为何仍看不懂手术
20分钟、30fps的手术视频有36,000帧。模型既要从冗余画面里抓住短暂动作，又要记住前后步骤、理解解剖关系，并给出可核查的时间证据。CliPPER、VideoMind和UniMedVL分别从长时序、主动检索和医学多
阅读全文
前沿研究
手机端跑通世界模型，2026年AI眼镜终于能预测物理碰撞了
分析端侧世界模型如何将AI眼镜从简单的“视觉识别”升级为“物理预判”。结合谷歌、三星、高通等最新硬件动态，探讨轻量化世界模型在毫秒级实时推理中解决物理碰撞预测的技术路径与功耗约束。
阅读全文3B模型能省多少云端成本，先把这笔账算对
2026年，推理需求增长和算力租赁涨价把企业重新推向端侧。3B级模型适合处理纠错、分类和请求路由，把复杂任务留给云端。它能省多少，取决于本地完成率、云端重试、设备功耗和维护成本，不能只凭参数量估出固定降幅。
阅读全文
产业动态
8000P算力入园，BIGAI要验证什么AGI假设
2026年7月，BIGAI接入8000P算力。公开资料没有披露万亿参数训练计划，但SceneVerse++、TongSIM、TongAgents、OmniXtreme与奥数几何AI已经勾勒出一个可检验的问题：模型学到的场
阅读全文
前沿研究
3B模型跑强化学习：为什么端侧慢思考比无脑堆参数更省电
分析2026年夏季端侧AI面临的算力与散热双重挑战，探讨如何利用GRPO算法与轻量级MCTS，让3B小模型通过“慢思考”机制在本地离线实现复杂逻辑推理，并深度量化其能效比。成本账表明：慢思考的3B模型相比于大参数直接输出
阅读全文
开发者生态
昇腾 910C 算子调优：先把数据搬运压下来，再谈自定义算子
长上下文推理变慢，不一定是算力不足，数据搬运、临时张量和算子下发也可能占大头。围绕昇腾 910C，梳理如何用 profiling 判断是否值得写 Ascend C 自定义算子，并处理 32 字节对齐、Tiling、融合和
阅读全文
技术应用
三款AI眼镜高温实测：不掏手机，2公里能走完吗
三款AI原生眼镜在37℃户外接受2公里步行导航测试。10万勒克斯强光导致视觉过曝，高温把最慢语音响应拉到4.2秒；唯一可独立导航的产品在22分钟后镜腿达到46.2℃，电量从90%降至30%。眼镜能减少看屏，暂时还接不了手
阅读全文