前沿研究
Llama 4.1开源了吗？300B消费级部署仍缺实证
现有材料能确认 Meta 在2025年4月推出 Llama 4，Scout 有1090亿总参数、170亿活跃参数和16个专家；但材料中没有 Llama 4.1 的官方发布信息，也没有300B模型在消费级显卡上的完整实测。
阅读全文
Search
站内搜索
关键词：推理
找到 301 篇相关文章
前沿研究
前沿研究
端侧AI开始算功耗账，苹果与高通走了两条路
苹果把省电做进约200亿参数的稀疏模型，高通则用混合精度降低推理能耗，并称骁龙8 Gen 4端侧大模型功耗下降40%。两套方案暂时缺少统一实测，38TOPS也不能代替持续运行时的温度、降频和适配成本。
阅读全文
前沿研究
BIGAI为何押注物理世界：通专融合要过哪些硬门槛
BIGAI以“通通”3.0、SceneVerse++和TongSIM把通专融合落到具身智能：大脑负责规划，小脑负责控制，本体完成动作。判断这条路线是否成立，要看仿真经验能否迁移到真实设备，并在时延、算子和安全约束下持续执
阅读全文
前沿研究
别急着给BEVFormer分代，车端跑稳才是门槛
BEVFormer借助可变形注意力融合多视角与历史特征，但参数减少并不会自动换来车端稳定。算子能否落到NPU、时间戳是否对齐、CPU与NPU切换是否可控，都会改写实时推理表现。
阅读全文
前沿研究
一句话找照片，手机相册为何适合端侧多模态模型
相册里的搜索、编辑和分享原本分属不同工具。端侧多模态模型把图像理解与自然语言检索放进同一条本地流程，减少照片上传，也方便弱网或离线使用。体验上限仍由模型压缩、内存、调度和散热决定。
阅读全文
前沿研究
边缘AI芯片到了2026年，Arm为何仍占先手
Fortune Business Insights预计，2026年全球边缘AI市场规模为475.9亿美元，但这一口径并非芯片销售额。端侧选型也不能只看TOPS：内存、算子回退、CPU与NPU调度以及软件适配，都会改变实际
阅读全文
前沿研究
AAAI 2026：科学发现走到台前，AI跑道变了吗？
第四十届AAAI于1月20日至27日在新加坡举行。1月22日，周伯文提出“可深度专业化通用模型”路线，并将科学发现视为推理智能的试炼场。推理赛道仍在，专业化能力被摆到了更重要的位置。
阅读全文
AI 工具箱
chacun.cpp 开源一周，旧 iPhone 先撞上内存和温控
chacun.cpp 开源一周，Star 数突破 8500。我们把它装进 4GB 内存的 iPhone 11，复现读取 3.2MB CSV、三次工具调用和摘要生成：首次运行峰值占用 3.8GB，量化后常驻内存降到约 1.
阅读全文
前沿研究
端侧 Agent 怎么省电？关键是少让 CPU 介入调度
端侧 Agent 的耗电不只看推理速度，还要看任务切换时 CPU 被叫醒多少次。Arm 用 CPU、GPU、NPU 分工处理不同负载；“周易”X3 公布的最低 0.5% CPU 负载，指向的是调度开销，不是整机功耗。
阅读全文
开发者生态
Kubernetes上的AI：当模型推理遇上Service Mesh
2026年，66%的生成式AI推理负载已部署在Kubernetes上，但传统的负载均衡无法应对大模型对显存和Token的非线性需求。本文以Llama-3.1-8B的A/B测试为例，解析如何利用Istio构建专用Servi
阅读全文
前沿研究
端侧 Agent 先过电量关：手机系统为何必须重做调度
Agent 会连续感知、推理、调用工具并写回结果，耗电分散在唤醒、保活、温控和任务切换中。公开资料尚未显示手机厂商已有统一方案，但只谈 NPU 峰值算力，解释不了端侧 Agent 的真实续航。
阅读全文
技术应用
小鹏全新代客泊车背后：3D占据预测怎么啃下多层停车场
小鹏于2026年4月发布的世界模型X-World已用于第二代VLA研发，但其工程价值最先在代客泊车场景被验证。本文从端侧推理路径出发，对比BEV+Occupancy方案，写清楚3D占据网络如何在多层停车场处理临时障碍物、
阅读全文