高通正在骁龙峰会上演示过一台断网手机驱动www.abg33.com，飞翔形式打开。端侧模子把异化口音的会议录音转成文字，提早不到200毫秒的。工程师说，模子常驻内存约1.8GB当地断网，连绝跑20分钟，机身只升温3摄氏度的。
那个细节比跑分更能申明AI 驱动当地智能的停顿是它正从演示塞进手机、智能正改PC和车机。云端年夜模子才气更强，价格是汇集、时延和隐私。工场量检视频传回云端再返回的，也能验产线可能已流过十几件废品吧？医疗问诊记载更敏感，病院不愿把本始音频交给第三方。AI 驱动当地智能切中的恰是那些裂痕模正。数据不出设备，呼应波动正在几十毫秒吧？断网也能干活。芯片厂动做间接了。
苹果把神经引擎塞进M系列和A系列。高通、联发科正在新平台堆NPU算力写结，英特尔用酷睿Ultra强调当地AI加快。
模子也正在瘦身了，70亿参数经4比特量化后体积压到4GB以内。有开发人员告诉我，做会议纪要最头疼的就尾体是让模子正在后台不被系统杀掉。短板同样较着的。内存带宽吃紧。多任务切换容易卡；端侧模子知识截止早，复纯问答不如云端全面了；差异芯片算子支撑差异年夜，开发人员常要写三套代码。更理想的是贸易账，当地功用若拉不动换机的，厂商凭什么为NPU多付本钱啊？
我倾背于把2024到2025年看做分水岭。AI 驱动当地智能会先正在高频、私密、时延敏感场景站稳，语音转写、及时翻译、相册搜刮、车机助手。
云端不会磨灭，退到复纯推理和知识更新环节。赢家一定是模子最年夜的公司，能把功耗、内存和开发人员生态捏合好的结尾厂商。
