昇腾910D显存溢出怎么救？实测三种轻量化量化方案的精度损失
针对国产算力集群部署中的显存瓶颈，本文实测了FP8、INT4及混合精度三种轻量化量化方案在昇腾910D上的显存节省效果与实际精度损失，并提供了一套可复用的调优Checklist，助力大模型无损落地。
阅读全文
Search
站内搜索
关键词：大模型
找到 295 篇相关文章
告别单体大模型：2026年“通专融合”架构如何解决行业深水区问题
分析 2026 年 AI 架构从单体通用模型向“通专融合”的演进。探讨 MoE 动态路由如何结合通用推理与领域专家模型，解决医疗、法律等高精度场景下的幻觉问题，并结合 ZCube 等基础设施分析落地路径。
阅读全文
AI 实操指南
在国产算力集群部署 Llama 4：解决多机多卡通信瓶颈的实操方案
针对 Llama 4 等开源大模型，本文给出在昇腾 910C/910D 等国产算力集群上的部署全流程，重点拆解跨节点 HCCL 通信延迟、显存碎片化与并行策略选择三大瓶颈，并附可复用的优化参数配置与排查清单。
阅读全文
AI 工具箱
20B、1T都不等于快：端侧AI手机该怎么测
苹果的AFM 3 Core Advanced约200亿参数，小米MiMo-V2 Pro总参数超1万亿、激活420亿，Pixel 10则让Gemini Nano常驻端侧。数字越来越大，但公开资料仍不足以做统一跑分。选设备，
阅读全文AI 调度员接管电网：在毫秒级波动中寻找最优电力分配
2026年，高比例新能源并网让电网调度面临前所未有的瞬时波动挑战。本文拆解了南方电网“明月”与国家电网“光明”等最新多智能体协作（Multi-Agent）系统，深度剖析工业 AI 强化学习方案如何用毫秒级响应重塑实时调度
阅读全文
技术应用
高温预警下的电网负荷预测：AI 如何提前 6 小时算出用电高峰
2026年极端高温导致南方电网负荷提前一个月突破2.59亿千瓦。AI负荷预测模型融合气象、社会活动与历史用电数据，将短期误差降至2%以内，提前6小时精准预判尖峰，减少拉闸限电次数。本文结合“大瓦特”大模型与配网AI智能体
阅读全文3B小模型开始接活，万亿参数模型还值不值钱
3B小模型正进入摘要、分类、提取等边界清晰的任务，但“覆盖80%日常工作”没有统一证据。企业真正要算的是完成一次任务的总成本：调用、延迟、返工和审核。大模型不会失去价值，它更适合复杂请求、模型蒸馏和能力兜底。
阅读全文
前沿研究
端侧AI模型续航测试：3B参数跑在手机上，一天几充
2026年7月实测显示，端侧3B模型日均待机耗电约1.5%-2%，重度Agent调用下续航减半。量化、剪枝等轻量化方案虽降低峰值功耗，但需配合NPU调度优化才能解决发热焦虑。本文拆解vivo蓝心、小米澎湃等主流模型的功耗
阅读全文
产业动态
八部门AI+制造专项行动解读：三个场景里的降本账本
2026年初八部门联合发布《“人工智能+制造”专项行动实施意见》，明确2027年三大通用大模型深度应用目标。本文拆解汽车、电子、化工三行业的实际落地场景，对比算力与实施成本，给出企业避坑建议，解析“AI+制造”如何从政策
阅读全文
前沿研究
Arm v10 架构在端侧AI的实测：手机运行 10B 模型还发烫吗
2026年7月实测表明，手机运行10B参数模型已从「不能跑」跨到「可以跑」，但发烫问题并未消失。得益于NPU调度、稀疏激活与指令集优化，持续推理功耗降至4.8W，温度约45℃；但Agent场景连续调用仍会堆积热量。文章引
阅读全文
前沿研究
端侧模型轻量化，正在从压参数转向省计算
手机能装下模型，不等于能长期跑好。苹果约200亿参数的AFM 3 Core Advanced选择稀疏激活，Gemini Nano沿用知识蒸馏。端侧轻量化的重点，正转向按需计算、能力压缩和分层精度。
阅读全文2026下半年AI手机战，端侧大模型先过续航关
在本站 Llama 3.2 7B 连续生成 512 tokens 的测试中，FP8 功耗较 INT4 高约 20%-30%。端侧助手要常驻，峰值 TOPS 还说明不了续航；原生加速、端云分工和散热更值得看。
阅读全文