技术应用
蚂蚁集团把 AI 风控塞进端侧之后，交易延迟和数据隐私怎么平衡
蚂蚁集团将风控模型部署至手机端，单笔推理延迟压至8毫秒，但高频支付场景下误拒率爬坡、隐私预算耗尽与设备覆盖率不足仍是硬约束。本文拆解端侧AI风控在支付与信贷场景下的真实工程账。
阅读全文
Search
站内搜索
关键词：模型部署
找到 30 篇相关文章
技术应用
Android端侧大模型落地：先管住内存、NPU和温度
把大模型装进Android App，跑通只是起点。真正影响体验的是模型加载、内存复用、NPU回退和持续发热。围绕这些工程问题，梳理一套更稳妥的端侧部署思路。
阅读全文
前沿研究
Agent 上线前，先把推理账算清楚
Agent 进了微信、桌面和企业流程后，Token 调用量开始变成真账单。小团队别先按峰值买卡，应该先看对话链路、并发曲线、GPU 利用率和冷启动成本。
阅读全文
产业动态
Arm自研芯片动刀手机端侧：安卓厂商的护城河还剩什么
Arm CEO Rene Haas预测自研CPU芯片业务市场空间将达1000亿美元。当上游指令集授权方亲自下场造芯，手机厂商不仅面临供应链重构，更被迫重写端侧AI调度框架。本文从指令集改动切入，还原安卓底层架构师面对14
阅读全文
产业动态
Arm 自己造芯片这事，手机厂商看完更睡不着了
Arm 决定亲自下场做 AI 芯片，Meta 据传是首位客户。这条新闻表面看是云端战场，背后真正让手机厂商焦虑的是端侧 14B 模型部署的瓶颈——热密度和内存带宽。Arm CSS 平台和高通、联发科、苹果的路线对比，IP
阅读全文
前沿研究
欧盟 AI 法案细则落地：中国出海企业的合规自查清单
2026年7月，欧盟AI法案进入全面执法期。针对游戏、电商、社交等出海企业，本文梳理从数据采集到模型部署的高风险场景，提供全链路合规自查清单，涵盖C2PA水印、数据本地化及数字员工责任边界，帮助企业规避法律风险与下架危机
阅读全文
前沿研究
骁龙、天玑与苹果端侧量化怎么选
端侧大模型部署不能只看INT4压得更小。芯片的NPU支持、算子回退、内存带宽、发热和系统调度，都会改变真实体验。骁龙、天玑、苹果A系列各有取舍，工程上要先确定场景，再选INT4或INT8。
阅读全文苹果M4 Ultra芯片实测：端侧运行300B参数模型真的可行吗
M4 Ultra凭借32核CPU和80核GPU及统一AI任务队列，理论上可加载300B量化模型，但内存带宽和散热仍是瓶颈。本文结合iPhone 19跑70B降频教训，分析M4 Ultra在超大规模模型部署中的真实能力与局
阅读全文苹果端侧模型全拉通：iOS 20给开发者留了哪些暗门
iOS 20 全面开放本地模型 API，但内存调用与跨应用沙盒通信暗藏玄机。本文拆解 ANERuntime 的 512MB 内存硬顶、共享模型签名与静默降级陷阱，并提供内存池分片、XPC 后台推理、直写 ANE 汇编三条
阅读全文Vision Pro跑大模型：四个让体验崩盘的交互难题
我们实测在Vision Pro上部署7B多模态大模型，发现比发热更麻烦的是交互。手势延迟让反馈总慢半拍，3D界面信息堆叠打架，语音和视线各说各话，输出速度跟不上用户翻页手速。这些问题不解决，用户可能30秒就想摘设备。
阅读全文Keras 3.2 实测：一套代码跑三大框架，但部署和自定义层是坑
在RTX 4090上实测Keras 3.2，用同一个CNN模型在TensorFlow、JAX和PyTorch后端训练，准确率和速度接近。但迁移学习时，PyTorch后端下自定义层的权重加载和梯度计算出现断链，训练速度也比
阅读全文