前沿研究
Arm v10 架构在端侧AI的实测：手机运行 10B 模型还发烫吗
2026年7月实测表明，手机运行10B参数模型已从「不能跑」跨到「可以跑」，但发烫问题并未消失。得益于NPU调度、稀疏激活与指令集优化，持续推理功耗降至4.8W，温度约45℃；但Agent场景连续调用仍会堆积热量。文章引
阅读全文
Search
站内搜索
关键词：推理
找到 301 篇相关文章
前沿研究
技术应用
当AI能解释诊疗依据，基层诊所会少误诊吗
据《环球》报道，一位医生称，肺部CT分析已从5年前至少30分钟缩短到几秒。可基层门诊处理的是症状、病史和检查结果的组合。医疗Agent或许能靠追问和漏项提醒帮助医生发现风险，但能否降低误诊率，仍需真实诊疗结果验证。
阅读全文2026下半年AI手机战，端侧大模型先过续航关
在本站 Llama 3.2 7B 连续生成 512 tokens 的测试中，FP8 功耗较 INT4 高约 20%-30%。端侧助手要常驻，峰值 TOPS 还说明不了续航；原生加速、端云分工和散热更值得看。
阅读全文华为昇腾910D工业质检实测：11.2毫秒只是第一关
华南某电子元器件厂在5条SMT产线上连续测试72小时：昇腾910D平均推理延迟11.2毫秒，缺陷检出率99.4%。真正影响落地预算的，还有365W峰值功耗、整机配套和CANN算子迁移。
阅读全文宝钢把AI质检搬到高温产线，先让相机看清钢板
热轧线上，强热辐射、蒸汽和高速运动会先把普通相机难住。宝钢的AI质检方案用多光谱成像获取可用画面，再把推理放到产线边，压缩响应时间并处理水滴、反光带来的误报。
阅读全文
前沿研究
“通通”之外，BIGAI 还做了一套会改计划的智能体
“通通”2.0继续强调认知与推理，TongAgents则把任务拆解、执行反馈和动态改计划做成系统能力。现有公开资料能确认架构与榜单成绩，但无法证实华东仓储首次落地及相关效率数据。
阅读全文
技术应用
临港8000P算力池，先把GPU空档填起来
临港“双万兆”算力园区把8000P算力拆到不同时间段：白天承接调试和推理，夜间重组节点跑训练，周末按任务释放。对近100家企业来说，价值不是统一打折，而是按实际任务租卡。
阅读全文
前沿研究
BIGAI‘通通’之外：北京通用院在搞什么神秘垂直模型
跳出对话框，北京通用人工智能研究院（BIGAI）正通过 OmniXtreme 运动控制框架、奥数几何 AI 以及 TongSIM 物理训练场，构建一个从逻辑推理到物理执行的“通专融合”体系，试图在具身智能与科学计算领域跑
阅读全文
前沿研究
RISC-V边缘AI芯片实测：功耗压到1W还能跑多大模型
把主流轻量模型丢进最新的RISC-V开发板，贴着1W功耗天花板跑实测。本文给出具体帧率、能效比和崩溃点，并对比ARM方案，给物联网开发者一份能用的选型参考。
阅读全文告别Prompt工程：2026年Agent自主规划能力的真实分水岭
2026年4月，腾讯云开发者社区发文称Prompt工程师薪资已较2024年高点下跌超40%，MCP协议普及让工具调用标准化，但复杂任务的自主规划成为新瓶颈。本文拆解ReAct、Plan-and-Execute等框架的架构
阅读全文
AI 工具箱
vLLM 为什么快，先看它怎么管理 KV Cache
vLLM 的性能优势，核心来自 PagedAttention 对 KV Cache 的分页管理。它借鉴虚拟内存，把逻辑连续的数据映射到非连续内存块，再配合块级调度和缓存共享，减少显存浪费。长上下文能快多少，仍取决于模型、
阅读全文
前沿研究
8000P算力园区空置率调查：租不到单卡的老板们去哪了
2026年盛夏，8000P级液冷智算中心利用率不足四成。巨头垄断高端推理，中小开发者被迫转向边缘计算或垂直微调。园区利用‘间歇性调度’在电价低谷期填补空窗，揭示算力租赁市场的结构性错配与生存逻辑。
阅读全文