前沿研究
Qwen3-Max显存占用降60%，本地部署成本真能减半吗
Qwen3.5发布资料给出Qwen3-Max显存占用降低60%、最大吞吐量提升至19倍，但这两组数字不能直接证明单张4090可跑，也不能推出成本减半。部署前要分清模型规模、量化权重、KV Cache和并发口径，再用vLL
阅读全文
Search
站内搜索
关键词：LLM
找到 51 篇相关文章
前沿研究
70亿参数模型进手机，端侧AI开始考验权限和续航
第五代骁龙8至尊版已支持手机端离线运行70亿参数模型，小米、谷歌和中兴则把竞争推向更大的模型与系统级智能体。参数之外，权限边界、续航和端云切换更影响日常体验。
阅读全文
前沿研究
Python仍是主力，Rust开始守住AI生产链路
Python仍主导训练、Notebook和原型开发，Rust更适合LLM网关、本地Agent、工具运行时、MCP及内存敏感组件。所谓“去Python化”更像生产栈分工：保留Python的迭代速度，把故障代价高的热路径单独
阅读全文
前沿研究
AI Agent能加快单测，UI自动化仍要人工把关
结合CCF TF第168期、腾讯广告Web UI自动化实践和美团技术沙龙公开议题，AI Agent适合生成单测草稿、准备Mock数据和整理日志；动态UI、跨页面状态及资金、合规等高风险断言仍需QA把关。
阅读全文
前沿研究
苹果WWDC后，端侧大模型如何绕开隐私雷区
2026年WWDC上，Apple Intelligence通过混合架构在端侧与云端之间走钢丝。自研3B模型配合私有云计算和差分隐私技术，苹果试图在算力与隐私间寻找平衡，但其对外包谷歌Gemini的依赖也引发了关于AI主权
阅读全文
前沿研究
昇腾910C集群微调实录：显存、算子与通信排坑
1.6万亿参数后训练已经跑通，7B—13B微调却不能照搬CUDA脚本。三个项目的故障集中在OOM、融合算子缺失和HCCL卡死，排查顺序比盲目改参数更重要。
阅读全文
AI 工具箱
Agent FinOps：预算护栏要卡在执行前
多 Agent 工作流能调用模型和外部 API 后，费用可能在看板报警前持续累积。结合 Vantage、AWS 与 FinOps Foundation 的公开材料，梳理网关配额、Token 归因、循环熔断、续费权限和企业
阅读全文
开发者生态
Rust 写推理引擎，先别急着替 Python
vLLM、sglang 仍是推理服务主流。Rust 更现实的入口，是接管 tokenizer、批处理调度、后处理和网关这些延迟敏感环节，而不是一上来重写整个推理引擎。
阅读全文
开发者生态
AI 工具箱
Arm 端侧跑 7B，三款框架实测怎么选
同跑 Qwen2.5-7B-Instruct INT4，骁龙 X Elite 上 ExecuTorch 首 token 更快，天玑 9400 上 MNN 吞吐反超，llama.cpp 胜在内存稳定。框架选择要跟芯片、任务
阅读全文
AI 工具箱
前沿研究
Graph RAG落地：向量库之外还要补什么
向量检索能找相似文本，却不擅长处理实体关系和复杂逻辑。Graph RAG把知识图谱引入RAG链路，用关系路径补上“谁影响谁、谁属于谁”的信息，适合企业知识库、合同、产品故障等场景。
阅读全文