20B模型塞进2026款AI PC，先算内存再看NPU
Core Ultra 7 258V轻薄本有64GB统一内存和48 TOPS NPU，加载20B模型仍然OOM。权重只是第一笔占用，KV cache、算子回退和持续散热更容易拖慢推理。实测可行的做法，是混合INT4、压缩K
阅读全文
Search
站内搜索
关键词：量化
找到 118 篇相关文章
开发者生态
2026 手机端侧 3B 模型实测：内存压力与推理速度的真实平衡点
基于 2026 年主流旗舰机型（骁龙 8 Elite、天玑 9400、A18 Pro）的连续跑测数据，对比 Qwen2.5-3B、Llama-3.2-3B 与 Gemma-3-3B 在 4-bit 与 6-bit 量化下
阅读全文2026 轻薄本实测：10B 模型量化到哪一档最合适
同一款基于 Llama 3 架构的 10B dense 模型，分别以 FP16、INT8、INT4 和 2-bit 运行在骁龙 X Elite 与 Lunar Lake 轻薄本上。INT4 响应最顺，INT8 更适合精确
阅读全文32GB 显存跑 70B，先算清 4-bit 的账
70B 模型做 4-bit 后，权重理论值仍约 35GB，单张 32GB 显卡还没给 KV Cache 和框架开销留空间。更现实的办法是用 GGUF 分层卸载、选择更低比特，或改用 32B 模型。
阅读全文2026下半年LLM推理成本监控：除了KV Cache还能优化哪里？
2026年推理成本已占AI总支出的80%。在KV Cache压缩成为基建后，真正的降本空间转移到了FP8量化的生产级稳定性、基于语义路由的混合模型调度以及精细化的Token计费模型上。本文拆解如何在保证精度前提下，通过工
阅读全文
技术应用
当AI质检员上岗：半导体工厂的光刻缺陷检测实战与模型调优手记
记录一家国内头部晶圆厂将光刻后道缺陷检测漏检率从 0.5% 压低至 0.1% 以下的实操过程。涵盖小样本标注困境、基于边缘设备的模型轻量化部署，以及如何通过与工艺工程师建立反馈闭环，将 AI 从“实验室玩具”变为“生产线
阅读全文
AI 工具箱
LLM推理账单怎么降：2026年先查这20处浪费
一次 Agent 项目复盘里，API 调用费占总成本 67%，30% 的 Token 花在重复 Prompt、过长上下文和无效中间推理上。围绕这张账单，文章拆出 20 个排查点，涵盖量化、缓存、路由、批处理、硬件和 To
阅读全文
AI 实操指南
拒绝被云厂商绑架：两台旧 Mac 本地跑通 14B 大模型实操指南
利用两台闲置Mac Studio（M2/M3 Max），通过llama.cpp RPC分布式推理运行14B开源模型，实测吞吐与云GPU成本对比，附完整部署步骤。
阅读全文
AI 实操指南
10B模型如何在单卡RTX 6000上实现毫秒级响应：量化实战
针对 10B 参数量级模型，在 RTX 6000 48GB 显存环境下，对比 FP8、INT4 及混合精度量化的显存占用与推理延迟，提供一套基于 TensorRT-LLM 的具体部署方案与性能实测数据。
阅读全文
技术应用
10分钟长视频一气呵成：Sora 3新版上下文窗口技术实测
2026年7月，OpenAI为Sora 3上线超长上下文窗口，号称可生成连贯的10分钟连续视频。本文通过实测一个10分钟都市夜景探索视频，评估其在人物动作、场景切换和物体一致性上的表现，并与早期60秒上限版本做量化对比，
阅读全文把开源模型搬进边缘网关，低延迟只是第一关
RK3588 一类边缘网关能否承接 3B—7B 模型，关键在内存预算、量化格式、NPU 算子和回退路径。适合本地部署的，是数据敏感、网络不稳、请求稳定且任务边界清楚的工业场景；复杂请求仍可交给云端。
阅读全文
技术应用
Sora 3工业流水线实测：一部短视频的AI分镜到底有多快
针对“AI视频仍是玩具”的质疑，本文通过一个30秒商业广告的实测，量化对比Sora 3与传统制作流在时间、成本及干预节点上的差异，分析其在工业化生产中如何跨越“一致性”门槛，探讨视频生成在Token不经济时代的真实交付逻
阅读全文