32GB 显存跑 70B，先算清 4-bit 的账
70B 模型做 4-bit 后，权重理论值仍约 35GB，单张 32GB 显卡还没给 KV Cache 和框架开销留空间。更现实的办法是用 GGUF 分层卸载、选择更低比特，或改用 32B 模型。
阅读全文
Search
站内搜索
关键词：实操
找到 56 篇相关文章
技术应用
当AI质检员上岗：半导体工厂的光刻缺陷检测实战与模型调优手记
记录一家国内头部晶圆厂将光刻后道缺陷检测漏检率从 0.5% 压低至 0.1% 以下的实操过程。涵盖小样本标注困境、基于边缘设备的模型轻量化部署，以及如何通过与工艺工程师建立反馈闭环，将 AI 从“实验室玩具”变为“生产线
阅读全文
AI 工具箱
我用 v0 和 Dify，30 分钟搭了个扫码支付后台
一次供应商结算后台实操：4 个 Prompt、1 套 Dify 编排，30 分钟跑通审核、二维码支付和状态回写。页面与流程搭得很快，但密钥、验签、权限和复杂事务仍要按生产系统处理。
阅读全文
AI 实操指南
拒绝被云厂商绑架：两台旧 Mac 本地跑通 14B 大模型实操指南
利用两台闲置Mac Studio（M2/M3 Max），通过llama.cpp RPC分布式推理运行14B开源模型，实测吞吐与云GPU成本对比，附完整部署步骤。
阅读全文MoE架构下放边缘设备，内存墙还在怎么破
MoE架构通过稀疏激活降低了计算量，但其庞大的参数体量在端侧设备上触发了严重的内存带宽瓶颈。本文分析MoE在手机端的“存储墙”困境，并提供KV Cache量化与专家路由控制的实操方案，帮助开发者在有限显存下跑通模型推理。
阅读全文
AI 工具箱
拒绝重复造轮子：用2026版Agent编排工具搭建企业级自动化工作流
2026年AI Agent落地已抛弃单体架构，转向多智能体协同。本文不谈空泛理论，直接对比Dify、Coze Studio与LangGraph三款主流Agent编排框架，通过一个真实的“跨部门自动化报销”案例，演示如何用
阅读全文
AI 实操指南
2026年企业部署AI Agent的成本控制和账单审计实操
面对AI Agent从POC转向量产带来的账单激增，本文拆解了一套从Token计费转向AI FinOps的实操方案。涵盖利用3B小模型做路由分发、通过LangGraph状态机截断死循环、以及基于MCP协议的工具调用审计，
阅读全文AI Agent 财务合规新解：2026版审计准则下的自动记账实操
针对2026年6月金融监管总局最新的AI安全应用指导意见，本文详解如何构建一个多Agent协作系统，实现从发票识别到凭证生成的全链路自动化，并重点探讨如何通过构建不可篡改的推理链路，满足审计追踪的合规要求。
阅读全文
AI 实操指南
在国产算力集群部署 Llama 4：解决多机多卡通信瓶颈的实操方案
针对 Llama 4 等开源大模型，本文给出在昇腾 910C/910D 等国产算力集群上的部署全流程，重点拆解跨节点 HCCL 通信延迟、显存碎片化与并行策略选择三大瓶颈，并附可复用的优化参数配置与排查清单。
阅读全文
前沿研究
2026暑期档票房反转：AI短剧如何抢占下沉市场注意力
光线传媒营收暴跌93.59%，横店影视利润缩水近九成，传统院线遭遇寒冬。与此同时，AI短剧以95%的占比统治了微短剧市场，在下沉市场疯狂收割注意力。本文从财报数据和行业报告出发，拆解AI漫剧、数字人短剧的低成本制作逻辑与
阅读全文
AI 实操指南
解决 Agent “金鱼脑”：构建基于时空索引的长期记忆库实操方案
针对 AI Agent 在长周期任务中丢失上下文的“金鱼脑”问题，本文提出一套结合时间戳与空间拓扑的时空索引记忆方案，通过分层架构（短期缓存-中期检索-长期存档）提升 Agent 的一致性，并提供基于 Python 的实
阅读全文昇腾910D集群避坑：多机通信带宽瓶颈与HCCL调优实战
针对昇腾910D大规模集群训练中常见的通信瓶颈问题，本文通过实测数据分析多机AllReduce延迟原因，提供一套从拓扑感知到HCCL参数调优的实操方案，旨在将千卡集群的MFU（模型算力利用率）从30%量级提升至50%以上
阅读全文