Dify、FastGPT、Coze，上生产前先算清三件事
Coze 擅长快速接入，Dify 更适合复杂流程与私有部署，FastGPT 更贴近 RAG 问答。日均 10 万次调用、峰值 50—100 QPS 只是需求场景；没有同模型、同硬件的压测，不能把三者直接排出性能名次。
阅读全文
Search
站内搜索
关键词：性能
找到 125 篇相关文章
AI 工具箱
2026微调工具怎么选：别只盯着谁最快
没有统一硬件和参数，速度榜很难直接照搬。单卡显存紧张先看 Unsloth，需要 WebUI 选 LLaMA-Factory，强调 YAML、Git 追踪和多卡训练则看 Axolotl。
阅读全文
AI 实操指南
客服 Agent 迁往昇腾 910D，先拆开推理链路
把 Llama 4 接入昇腾 910D，不是复制权重那么简单。客服 Agent 还要核对推理运行时、服务接口、工具协议和监控链路。现有素材只支持“量产传闻”，更稳妥的做法是先建基线，再逐层验证。
阅读全文
AI 实操指南
10B模型如何在单卡RTX 6000上实现毫秒级响应：量化实战
针对 10B 参数量级模型，在 RTX 6000 48GB 显存环境下，对比 FP8、INT4 及混合精度量化的显存占用与推理延迟，提供一套基于 TensorRT-LLM 的具体部署方案与性能实测数据。
阅读全文告别暴力堆数据：2026年大模型训练为何集体转向强化学习？
分析大模型训练从“规模至上”转向“推理能力驱动”的技术拐点。重点拆解 GRPO 算法如何通过取消 Critic 模型降低显存成本，使 7B-70B 小参数模型能通过大规模强化学习实现性能反超，揭示 2026 年模型训练的
阅读全文国产端侧大模型下半场：谁在卷首 token 延迟
2026年端侧AI已从跑分转向体感优化。本文通过拆解3B-7B模型的首token延迟（TTFT），分析内存带宽瓶颈与KV Cache压缩技术，探讨硬件厂商如何通过架构升级解决AI手机卡顿，揭示端侧推理的真实性能分水岭。
阅读全文
前沿研究
vLLM还是TensorRT-LLM：别脱离负载谈性能
vLLM更适合请求波动大、模型切换频繁的服务；TensorRT-LLM更适合NVIDIA硬件上模型稳定、愿意承担编译维护成本的场景。压测必须固定模型、精度、上下文、并发和硬件，单独的吞吐数字无法直接换算成成本。
阅读全文
开发者生态
昇腾 910C 迁移实录：从代码报错到性能调优的避坑指南
基于昇腾 910C 真实迁移项目，记录从 PyTorch 模型迁移到华为 NPU 环境的全过程，涵盖算子兼容性处理、内存优化、通信调优及常见报错排查，提供可复现代码片段，结合出货量数据与实战经验，为开发者提供一份避坑清单
阅读全文
AI 工具箱
2026 手机端侧 AI：速度之外，还得看温度和电量
一句跨 App 指令，可能让手机在几十秒内明显升温。结合 6 款旗舰方案的测试记录与公开资料，文章对比 Agent 执行、本地 PDF 检索、响应延迟和 10 组任务耗电，看看中兴、华为、苹果、OPPO 等方案各自适合什
阅读全文ARM架构之争背后，手机端AI开始比拼持续能效
端侧AI进入手机和智能眼镜后，峰值算力已不足以解释真实体验。现有材料能确认苹果等厂商持续推进端侧AI、国内至少50个团队布局AI眼镜；至于「ARM V3.1」及相关性能数据，缺少官方文档和测试条件，暂不宜写成定论。
阅读全文
AI 工具箱
Rust 接管端侧调度，先看清 TensorRT-LLM 的边界
端侧 LLM 会为几毫秒反复抠性能，但瓶颈未必来自 Python。真正该查的是调用次数、同步、内存搬运和硬件后端。Rust 适合收紧关键路径；TensorRT-LLM 只能用于其支持的平台，不能被泛化成手机 NPU 的统
阅读全文
前沿研究
Arm AI PC散热升级：均热板之后，液冷还有多远
本地AI延长了笔记本的高负载时间，散热开始直接影响持续性能。VC均热板适合摊平热点，冷板液冷已用于AI服务器和HPC设备；对Arm AI PC而言，液冷仍要过体积、成本与可靠性几道关。
阅读全文