AI 实操指南
在国产算力集群部署 Llama 4：解决多机多卡通信瓶颈的实操方案
针对 Llama 4 等开源大模型，本文给出在昇腾 910C/910D 等国产算力集群上的部署全流程，重点拆解跨节点 HCCL 通信延迟、显存碎片化与并行策略选择三大瓶颈，并附可复用的优化参数配置与排查清单。
阅读全文
Search
站内搜索
关键词：开源
找到 145 篇相关文章
AI 实操指南
前沿研究
R1开源后，手机跑30B模型先撞上散热墙
24GB内存的骁龙8 Gen 5旗舰机，已经能本地运行INT4量化的Qwen-32B：首字2.1秒，起步约8 tokens/s。持续推理后，机身升至46°C、速度掉到3 tokens/s，12分钟耗电23%。30B上手机
阅读全文Llama 与 Mistral 写代码，先别急着判胜负
现有资料没有给出可复现的 Llama 3.5 8B 与 Mistral Medium 12B 代码测试。比起照搬跑分，开发者更该分开检验函数生成、仓库修复和量化后的本地表现。
阅读全文
前沿研究
Llama 4开源：4000亿参数不必每次全算
Meta于2025年4月5日发布Llama 4，Scout和Maverick已开放，Behemoth仍在训练。MoE让总参数与单次激活规模分开讨论，Scout支持1000万token上下文；至于混合注意力的具体实现，现有
阅读全文
前沿研究
生成式AI专利战升级：2026年首批司法判例对开源社区的警示
2026年上半年，全球AI司法判例由“著作权争端”转向“专利权围剿”。本文分析预训练数据侵权与模型输出相似性的最新判决逻辑，探讨在WIPO 2026报告揭示的技术去中心化背景下，Hugging Face等开源平台及独立开
阅读全文
开发者生态
MiCo发布一个月，开源社区把它接进了哪些Agent框架
上海AI实验室多模态预训练框架MiCo开源一个月后，已被开发者陆续接入LangGraph、Dify、CrewAI等主流Agent框架。本文盘点各框架接入进度，给出可复用的工具调用模板，并记录一次真实接入坑点。
阅读全文模型上下文太长扯不清账？三套 Agent 计费监控开源脚本
夏季企业 Agent 调用量激增，上下文堆叠让计费账单失控。本文实测三套开源脚本——TELOS SDK、AgentMemory 与上下文卸载压缩方案，本地抓取 Token 流向、截断冗余上下文，给出可直接落地的部署与避坑
阅读全文
AI 实操指南
LangGraph 多 Agent 客服，难点在派单和接管
以开源项目 customer-service-ai-agent 为参照，把产品咨询、技术支持、账单、投诉和路由节点串成一张图，并处理状态记录、工具权限、RAG 边界、人工接管和上线回放这些容易出事故的环节。
阅读全文
开发者生态
Mistral到Qwen 3，先把开源模型账单算清
2026年3月，国产开源模型在Agent、代码生成和推理效率上的表现引发关注，模型间Token成本差距被概括为10—20倍。选型还要把微调、部署、重试、人工复核和迁移成本放进同一张账单。
阅读全文GPT-7延期传言之外，开源模型补课先看证据
现有公开材料不足以确认GPT-7延期，也撑不起“开源在60天内追平闭源”的结论。更可靠的变化来自专业模型、空间视觉、具身智能和社区协作，选型应回到官方版本记录与可复现实测。
阅读全文
开发者生态
国产 MCP 协议崭露头角：把工具调用层换掉要重写多少代码
把三个原本挂在 LangChain 里的业务 Agent 迁到国产 MCP 分支，记录鉴权、流式传输与代码改动，给出可复用的迁移仓库和实测报告，量化重构耗时。
阅读全文
前沿研究
Llama 4.1开源了吗？300B消费级部署仍缺实证
现有材料能确认 Meta 在2025年4月推出 Llama 4，Scout 有1090亿总参数、170亿活跃参数和16个专家；但材料中没有 Llama 4.1 的官方发布信息，也没有300B模型在消费级显卡上的完整实测。
阅读全文