前沿研究
RISC-V 芯片跑通 LLM：从边缘传感器到车载座舱的实时响应
分析 RISC-V 架构如何通过自定义指令集和向量扩展（RVV）优化量化 LLM 部署，探讨其在车载座舱和工业传感器场景中解决功耗发热痛点、实现毫秒级响应的工程路径。
阅读全文
Search
站内搜索
关键词：量化
找到 118 篇相关文章
前沿研究
技术应用
端侧 7B 模型让手机发烫退掉单：功耗墙怎么破
手机烫得拿不住、推理超时退单，7B 模型塞进旗舰机后的真实翻车案例。本文拆解骁龙 8 Gen 4 机型的运行日志，分析功耗墙成因，给出推理框架量化、KV 缓存剪枝、动态频率调度等优化方案，并引用 vivo 蓝心部署、头豹
阅读全文
前沿研究
Arm加码移动AI，端侧部署别再只盯TOPS
Arm官方把移动AI放在CPU、CSS和IP协同的整套平台中。现有素材不足以证明“能效提升40%”；手机端模型能否跑稳，主要看量化格式、内存占用、算子回退和持续功耗。
阅读全文
前沿研究
WAIC 2026先查账：通专融合的推理成本怎么比
WAIC 2026会前发布会披露57个核心场景和162亿元意向合作，但公开材料还不足以给Qwen3-Max、书生·万象3.0和MiCo排出成本座次。真正要比的是硬件、量化、上下文、并发和服务边界。
阅读全文
前沿研究
Qwen3-Max显存占用降60%，本地部署成本真能减半吗
Qwen3.5发布资料给出Qwen3-Max显存占用降低60%、最大吞吐量提升至19倍，但这两组数字不能直接证明单张4090可跑，也不能推出成本减半。部署前要分清模型规模、量化权重、KV Cache和并发口径，再用vLL
阅读全文
前沿研究
70B模型塞进智能眼镜：光波导散热之外的软硬件协同死结
2026年AI眼镜密集上新，70亿参数模型已在手机端跑通，但塞进眼镜远不只是把芯片换小。异步量化推理能压内存，光波导和电池却卡住了系统调度。本文从算法、芯片、光学和功耗四条线索，拆解为什么"能跑"离"好用"还差一套工程协
阅读全文70B大模型上车，高通8775和Thor先算内存账
70B模型用FP16存权重约140GB，压到INT4仍约35GB，还没算KV Cache和其他车载任务。Thor为跨域计算留出更大余量，8775更看重座舱部署。真正影响选型的，是持续散热、算子覆盖、量化和故障隔离。
阅读全文
开发者生态
国产 MCP 协议崭露头角：把工具调用层换掉要重写多少代码
把三个原本挂在 LangChain 里的业务 Agent 迁到国产 MCP 分支，记录鉴权、流式传输与代码改动，给出可复用的迁移仓库和实测报告，量化重构耗时。
阅读全文
前沿研究
Llama 4.1开源了吗？300B消费级部署仍缺实证
现有材料能确认 Meta 在2025年4月推出 Llama 4，Scout 有1090亿总参数、170亿活跃参数和16个专家；但材料中没有 Llama 4.1 的官方发布信息，也没有300B模型在消费级显卡上的完整实测。
阅读全文
前沿研究
别急着给BEVFormer分代，车端跑稳才是门槛
BEVFormer借助可变形注意力融合多视角与历史特征，但参数减少并不会自动换来车端稳定。算子能否落到NPU、时间戳是否对齐、CPU与NPU切换是否可控，都会改写实时推理表现。
阅读全文
AI 工具箱
chacun.cpp 开源一周，旧 iPhone 先撞上内存和温控
chacun.cpp 开源一周，Star 数突破 8500。我们把它装进 4GB 内存的 iPhone 11，复现读取 3.2MB CSV、三次工具调用和摘要生成：首次运行峰值占用 3.8GB，量化后常驻内存降到约 1.
阅读全文
前沿研究
苹果WWDC后，端侧大模型如何绕开隐私雷区
2026年WWDC上，Apple Intelligence通过混合架构在端侧与云端之间走钢丝。自研3B模型配合私有云计算和差分隐私技术，苹果试图在算力与隐私间寻找平衡，但其对外包谷歌Gemini的依赖也引发了关于AI主权
阅读全文