用 Llama 4 微调企业客服模型：从数据准备到部署避坑
针对 Llama 4 的 MoE 架构，本文详细拆解如何利用 LLaMA Factory 和 Unsloth 通过 LoRA 实现企业级客服模型的微调。涵盖从 SFT 数据清洗、Rank 参数调优到 GGUF 量化部署的
阅读全文
Search
站内搜索
关键词：Llama
找到 73 篇相关文章
前沿研究
Arm v10样片实测：SME2把Prefill提速3.2倍
Arm v10工程样片测试中，SME2让Llama-3-3B 4-bit版Prefill速度较v9提升3.2倍，首字延迟由约1.2秒降至400毫秒以内；Decoding加速约1.4倍，10B模型持续运行仍受发热和功耗约束
阅读全文2026下半年AI手机战，端侧大模型先过续航关
在本站 Llama 3.2 7B 连续生成 512 tokens 的测试中，FP8 功耗较 INT4 高约 20%-30%。端侧助手要常驻，峰值 TOPS 还说明不了续航；原生加速、端云分工和散热更值得看。
阅读全文
AI 实操指南
RISC-V开发板跑通7B模型：4.4 token/s怎么来的
玄铁 C950-AI 上的 Llama-3.2 7B 经 Q4_K_M 量化后约 3.8GB，MNN 实测生成速度 4.4 token/s、平均功耗 10.5W。长文本会被 KV Cache 拖慢，持续运行还会遇到 85
阅读全文
开发者生态
手机跑7B和12B模型，INT4还是FP8更合适
这组2026年7月测试把Llama 3.2 7B和Mistral Small 12B放到骁龙8 Gen5参考设计机与A19设备上，连续生成512 tokens。INT4最省内存、温度最低；FP8在A19上速度接近INT4
阅读全文Llama 与 Mistral 写代码，先别急着判胜负
现有资料没有给出可复现的 Llama 3.5 8B 与 Mistral Medium 12B 代码测试。比起照搬跑分，开发者更该分开检验函数生成、仓库修复和量化后的本地表现。
阅读全文告别Prompt工程：2026年Agent自主规划能力的真实分水岭
2026年4月，腾讯云开发者社区发文称Prompt工程师薪资已较2024年高点下跌超40%，MCP协议普及让工具调用标准化，但复杂任务的自主规划成为新瓶颈。本文拆解ReAct、Plan-and-Execute等框架的架构
阅读全文
前沿研究
Llama 4开源：4000亿参数不必每次全算
Meta于2025年4月5日发布Llama 4，Scout和Maverick已开放，Behemoth仍在训练。MoE让总参数与单次激活规模分开讨论，Scout支持1000万token上下文；至于混合注意力的具体实现，现有
阅读全文
前沿研究
MoE 架构跑通万亿参数了，但显存碎片正在拖垮推理速度
MoE 模型的万亿参数竞赛并未带来推理端的红利，反而因专家权重全量驻留引发的显存碎片化和访存瓶颈，让推理延迟居高不下。本文拆解 Llama-4 类架构下的调度难题，并结合昇腾等厂商的最新无损优化方案，探讨从算子调度到底层
阅读全文
开发者生态
Mistral到Qwen 3，先把开源模型账单算清
2026年3月，国产开源模型在Agent、代码生成和推理效率上的表现引发关注，模型间Token成本差距被概括为10—20倍。选型还要把微调、部署、重试、人工复核和迁移成本放进同一张账单。
阅读全文GPT-7延期传言之外，开源模型补课先看证据
现有公开材料不足以确认GPT-7延期，也撑不起“开源在60天内追平闭源”的结论。更可靠的变化来自专业模型、空间视觉、具身智能和社区协作，选型应回到官方版本记录与可复现实测。
阅读全文
前沿研究
Llama 4.1开源了吗？300B消费级部署仍缺实证
现有材料能确认 Meta 在2025年4月推出 Llama 4，Scout 有1090亿总参数、170亿活跃参数和16个专家；但材料中没有 Llama 4.1 的官方发布信息，也没有300B模型在消费级显卡上的完整实测。
阅读全文