AI 工具箱
长 Prompt 管不住复杂 AI 工作流，状态机负责兜底
一次四步工作流的内部测试中，状态机把成功率从62%拉到89%，平均耗时从45秒降到32秒，Token消耗从8500降到5100。变化不在模型，而在每一步都有明确输入、出口和异常处理。
阅读全文
Search
站内搜索
关键词：优化
找到 212 篇相关文章
AI 工具箱
开发者生态
2026 手机端侧 3B 模型实测：内存压力与推理速度的真实平衡点
基于 2026 年主流旗舰机型（骁龙 8 Elite、天玑 9400、A18 Pro）的连续跑测数据，对比 Qwen2.5-3B、Llama-3.2-3B 与 Gemma-3-3B 在 4-bit 与 6-bit 量化下
阅读全文
开发者生态
千节点昇腾 910C 集群，通信究竟堵在哪里
公开材料没有给出昇腾 910C 千节点实测。能确认的是，华为 2025 年发布的昇腾 384 超节点把 384 卡纳入高速总线域。规模继续外扩后，排查重点应落在跨域通信、MoE 的 All-to-All、拓扑映射和慢节点
阅读全文昇腾910C推理提速43%？这组数据还缺关键条件
公开材料确认，昇腾910C集群已完成1.6万亿参数DeepSeek-V4-Pro全参数后训练；但没有给出CANN 8.0.RC2升级前后的推理对照。43%吞吐提升和29%显存下降，仍需补齐模型分片、精度、并行方式与测试日
阅读全文树莓派 5 跑语音助手，490ms 延迟怎么来的
树莓派 5 上用 Whisper-Tiny.en、4-bit phi-3-mini、Silero-VAD 和流式 TTS，四段处理耗时合计 490ms。但 VAD 另有 300ms 静音窗口。要复现这组结果，模型之外还得
阅读全文8000P算力园区满半年：入驻企业的算力账单与模型训练效率账
实地调研北京算力产业园首批入驻的3家AI企业，揭秘在8000P算力池环境下，企业如何平衡算力券补贴与实际支出，分析从纯训练转向“训推一体”后的成本结构变化，并提供2026年算力采购的核心判断因子。
阅读全文32GB 显存跑 70B，先算清 4-bit 的账
70B 模型做 4-bit 后，权重理论值仍约 35GB，单张 32GB 显卡还没给 KV Cache 和框架开销留空间。更现实的办法是用 GGUF 分层卸载、选择更低比特，或改用 32B 模型。
阅读全文2026下半年LLM推理成本监控：除了KV Cache还能优化哪里？
2026年推理成本已占AI总支出的80%。在KV Cache压缩成为基建后，真正的降本空间转移到了FP8量化的生产级稳定性、基于语义路由的混合模型调度以及精细化的Token计费模型上。本文拆解如何在保证精度前提下，通过工
阅读全文昇腾910C适配实录：PyTorch迁移中的显存优化与算子兼容
聚焦昇腾910C在PyTorch迁移中的显存碎片化解法、自定义算子编写规范与MindSpore双轨代码差异，提供一线开发者可直接复用的CANN调优参数与调试路径。
阅读全文
AI 工具箱
LLM推理账单怎么降：2026年先查这20处浪费
一次 Agent 项目复盘里，API 调用费占总成本 67%，30% 的 Token 花在重复 Prompt、过长上下文和无效中间推理上。围绕这张账单，文章拆出 20 个排查点，涵盖量化、缓存、路由、批处理、硬件和 To
阅读全文
AI 实操指南
用GRPO算法调教3B小模型：不走SFT弯路的企业专属微调方案
告别繁琐SFT与昂贵的Critic模型，利用GRPO（群组相对策略优化）在单卡RTX 4090上对3B参数模型进行强化学习微调。本文提供具体的奖励函数编写模板、显存控制参数及实战流程，帮助中小团队以最低成本实现垂直领域的
阅读全文
产业动态
北京算力券申领指南（2026版）：中小团队如何撬动8000P园区资源
2026年7月北京算力券申领窗口开放，补贴最高500万元，支持使用AGI园区8000P算力。本文详解申请条件、补贴标准、申报流程，并采访极算科技团队，分享从材料准备、算力适配到调度优化的实战经验，助中小AI团队用足政策红
阅读全文