前沿研究
昇腾910D跑Llama 3.3：显存碎片与HCCL通信调优实录
把Llama 3.3从英伟达H20迁移到昇腾910D，远不是改个设备名那么简单。在昆山园区的实测中，128K上下文带来的显存碎片和多卡通信延迟成了拦路虎。通过MindIE预分配KV Cache、Ascend C算子融合及
阅读全文
Search
站内搜索
关键词：推理
找到 301 篇相关文章
前沿研究
开发者生态
推理侧的算力账本：昇腾910C、H20与国产芯片的真实较量
2026年2月中国AI模型Token调用量达5.16万亿，超越美国。庞大的推理需求下，昇腾910C吞吐表现强劲但软件适配成本高，英伟达H20面临市场份额缩水，天数智芯、寒武纪等则在特定场景突围。
阅读全文
AI 工具箱
大模型多跳推理老翻车？GraphRAG靠知识图谱怎么救场
传统RAG分块向量化导致实体关系丢失，处理多跳推理和全局总结时常翻车。微软2024年推出的GraphRAG引入知识图谱，用图形结构建模实体关联，专门解决复杂查询中的逻辑断裂。
阅读全文
深度观察
简历别只写调Prompt了，企业开始抢Agent架构师
2026年6月29日，天津小橙集团在南开大学的校招JD揭示了一个残酷现实：只会调参的工程师正在加速贬值。随着AI从“推理者”向“组织（Orchestrator）”演进，企业急需懂分布式系统、能落地多智能体协作的Agent
阅读全文
开发者生态
DeepSeek推理成本拆解：打破算力迷信后的新基建逻辑
3月1日DeepSeek公开V3/R1推理系统概览，披露理论成本。假设GPU租赁成本2美元/小时，每日总成本约8.7万美元。低成本不仅让英伟达市值单日蒸发6000亿美元，更迫使算力基建向容器化与云原生制品分发转型。
阅读全文
产业动态
库克的最后一次WWDC：Siri重构背后的10亿美元账单与算力妥协
WWDC 2026上，库克迎来了作为CEO的最后一场开发者大会。Siri虽迎来十五年来最大升级，但核心推理仍依托谷歌Gemini，每年花费约10亿美元。标准版iPhone 17因端侧算力瓶颈被挡在完整Apple Inte
阅读全文
开发者生态
玄铁C950跑通千亿大模型，RISC-V要抢x86和ARM的饭碗
3月24日，阿里达摩院发布玄铁C950，主频达3.2GHz，SPECint2006突破70，刷新RISC-V性能纪录。该芯片原生支持Qwen3、DeepSeek V3等千亿参数大模型，瞄准AI Agent场景，全志、瑞芯
阅读全文
开发者生态
昇腾910C跑通DeepSeek V4：国产算力的工程化硬仗
2025年5月昇腾910C大规模供货。面对随后发布的DeepSeek V4，华为云研发团队从春节熬到4月底，终于让910B/910C的推理能力达标。硬件上架只是开始，CANN的算子补齐与集群互联，才是决定开发者愿不愿用的
阅读全文
开发者生态
大模型推理账单怎么算：别只盯着Token单价
GPT-5.2 Pro和Gemini 3.1 Pro的API报价让不少团队头疼，但单纯比价已经不够了。Gartner预测2030年推理成本将降90%，开发者需要盯紧TPOT和KV Cache，并在FP8与INT4量化中找
阅读全文
AI 工具箱
RAG不再只是查资料：2026年企业知识库架构改造
2026年，传统“向量库+LLM”的RAG管线在多跳推理上显露疲态。GraphRAG与Agentic RAG正在取代线性检索，企业知识库需要重新设计底层存储与多智能体编排。
阅读全文
前沿研究
玄铁C950端侧跑千亿大模型，RISC-V算力账怎么算？
阿里平头哥发布玄铁C950，主频3.2GHz，试图在端侧跑通千亿参数大模型。面对云端API成本高企与7月合规新规落地，企业被迫转向本地部署。但内存墙与软件栈短板，仍是RISC-V亟待跨越的门槛。
阅读全文Claude Opus 4登场：能连续执行数千步骤的编程模型
Anthropic发布Claude Opus 4与Sonnet 4。Opus 4主打长时间稳定处理复杂任务，配合测试版的扩展思维工具，模型可在思考中联网搜索并调用工具，实现推理与执行的交替循环。
阅读全文