告别Prompt工程：2026年Agent自主规划能力的真实分水岭
2026年4月，腾讯云开发者社区发文称Prompt工程师薪资已较2024年高点下跌超40%，MCP协议普及让工具调用标准化，但复杂任务的自主规划成为新瓶颈。本文拆解ReAct、Plan-and-Execute等框架的架构
阅读全文
Search
站内搜索
关键词：大模型推理
找到 15 篇相关文章
产业动态
Sora激发的需求挤瘫园区：算力配齐后为何运不拉满
华东某8000P算力园区落地两月，利用率不足30%，电费超860万、液冷改造追加1500万。视频大模型推理需求爆发，但训练集群闲置、推理空转，结构性错配导致算力过剩与紧缺并存。拆解真实账本与软件鸿沟，给出园区运营方与租用
阅读全文B300先到，MI400押注432GB显存：采购先算迁移账
B300已经可用，288GB HBM3e和CUDA路径适合近期部署；MI400计划2026年下半年出货，以432GB HBM4、19.6 TB/s带宽争取大模型推理。采购时还要算上交期、ROCm迁移和整机成本。
阅读全文
前沿研究
AWS生成式AI升级：从代理式系统到无服务器推理的算力账本
算力闲置和突发流量一直是大模型推理的成本痛点。亚马逊云科技通过Serverless Inference和代理式AI等新工具，重构了AI基础设施的计费与调度逻辑，帮助企业在控制成本的同时交付业务成果。
阅读全文Arm架构拿下40% PC出货量后，端侧AI推理的算力账怎么算
Arm架构在PC和平板市场的份额突破40%，标志着AI算力从云端向边缘的重心转移。本文结合2025-2026年最新数据，拆解NPU在端侧大模型推理中的成本与延迟优势，探讨物理AI与边缘计算的落地现实。
阅读全文
开发者生态
大模型推理账单怎么算：别只盯着Token单价
GPT-5.2 Pro和Gemini 3.1 Pro的API报价让不少团队头疼，但单纯比价已经不够了。Gartner预测2030年推理成本将降90%，开发者需要盯紧TPOT和KV Cache，并在FP8与INT4量化中找
阅读全文
前沿研究
RISC-V出货破百亿：端侧AI推理为何选中它？
2024年全球RISC-V芯片出货超百亿颗，30%用于AI加速。凭借模块化设计和低功耗优势，阿里玄铁C950等芯片正将千亿参数大模型推理拉入端侧，打破ARM在嵌入式领域的垄断格局。
阅读全文本土AI芯片‘突围’再进一步：从视频压缩到端侧大模型推理，2026年技术路线图
本文深入分析2026年本土AI芯片在新兴应用场景下的技术进展与商业化动态。聚焦从传统视频压缩向端侧大模型推理的关键转型，剖析快手系芯片融资热潮背后的技术路线图，探讨国产替代在算力‘民主化’与合规压力下的战略机遇与挑战。
阅读全文从‘云边端’到‘端边云’：2026年大模型推理架构的范式转变与成本优化
本文深入分析2026年AI推理架构从‘云端中心’向‘端侧优先、云端兜底’范式转变的核心驱动因素，包括端侧芯片算力爆发、隐私合规压力及成本优化需求。文章结合最新行业案例、供应链动态与技术路径，探讨这一范式转变如何重塑企业A
阅读全文端侧大模型'手机内卷'：2026年中旗舰芯片（骁龙8 Gen4 vs 天玑9400）AI性能实测对比
本文深度实测对比2026年中高通骁龙8 Gen4与联发科天玑9400两大旗舰芯片在端侧大模型推理、多模态处理、能效比等核心维度的AI性能。通过构建典型AI应用场景，分析两款芯片对手机AI体验的革命性影响，并探讨其对个人智
阅读全文端侧大模型‘性能爆炸’：高通骁龙8 Gen4、联发科天玑9400芯片的AI算力实测与旗舰手机AI功能进化论
2026年下半年，旗舰手机芯片的AI算力迎来里程碑式跃升。本文深度解析高通骁龙8 Gen4与联发科天玑9400在端侧大模型推理上的突破性性能，实测对比其驱动实时多模态交互、个人智能体等杀手级应用的能力，并探讨芯片创新与A
阅读全文大模型推理效率‘极致优化’：2026年量化、稀疏化、投机采样等技术的最新实践与效果对比
本文系统梳理2026年大模型推理优化技术栈的最新实践，深入对比量化、稀疏化、投机采样等前沿方法在vLLM、TensorRT-LLM等框架下的实际效果。基于NVIDIA H200、GB200等最新硬件，提供详细的性能评测数
阅读全文