边缘推理 — Apple Neural Engine、Qualcomm Hexagon、WebGPU/WebLLM、Jetson

核心边缘约束是内存带宽，不是计算。移动DRAM在50-90 GB/s；数据中心HBM3达2-3 TB/s——30-50x差距。解码是内存受限的所以差距是决定性的。2026年格局四分。Apple M4/A18 Neural Engine峰值38 TOPS带统一内存(无CPU↔NPU拷贝)。Qualcomm Snapdragon X Elite / 8 Gen 4 Hexagon达45 TOPS。WebGPU + WebLLM在M3 Max上以约41 tok/s运行Llama 3.1 8B(Q4)(约原生70-80%)；17.6k GitHub星，OpenAI兼容API，约70-75%移动覆盖。NVIDIA Jetson Orin Nano Super(8GB)适合Llama 3.2 3B / Phi-3；AGX Orin通过vLLM以约40 tok/s运行gpt-oss-20b；Jetson T4000(JetPack 7.1)是2x AGX Orin。TensorRT Edge-LLM支持EAGLE-3、NVFP4、分块预填充——在CES 2026由Bosch、ThunderSoft、MediaTek展示。

类型: 学习 语言: Python (stdlib, toy带宽受限解码模拟器) 前置知识: Phase 17 · 04 (vLLM服务内部), Phase 17 · 09 (生产量化) 时间: ~60分钟

学习目标

• 解释为什么内存带宽(非计算)是边缘推理的决定性约束。
• 比较四大边缘平台：Apple NPU、Qualcomm Hexagon、WebGPU/WebLLM、NVIDIA Jetson。
• 计算给定模型大小和内存带宽下的边缘解码速度理论上限。
• 说出WebLLM的覆盖率和性能特征。

问题

边缘推理不是数据中心的缩小版。约束完全不同。数据中心有2-3 TB/s HBM带宽；移动设备有50-90 GB/s。解码每token读取完整模型权重，所以解码速度由内存带宽/模型大小决定。7B INT4模型(约3.5GB权重)在80 GB/s带宽下理论上限约23 tok/s。这就是为什么边缘推理需要小模型和激进量化。

概念

内存带宽是瓶颈

解码速度 = 内存带宽 / 每token读取的权重大小。

7B INT4(3.5GB)在80 GB/s下：约23 tok/s理论。实际约15-20 tok/s考虑KV缓存读取和注意力计算。

Apple Neural Engine

M4/A18 NPU峰值38 TOPS。统一内存架构意味着无CPU↔NPU数据拷贝——权重已在共享内存中。MLX框架(Apple的PyTorch替代)直接在统一内存上操作。

Qualcomm Hexagon

Snapdragon X Elite / 8 Gen 4 Hexagon达45 TOPS。Qualcomm AI Engine Direct SDK。适合Android部署。

WebGPU/WebLLM

WebGPU是浏览器GPU API。WebLLM在浏览器中运行LLM，M3 Max上Llama 3.1 8B(Q4)约41 tok/s。OpenAI兼容API。约70-75%移动浏览器覆盖。17.6k GitHub星。

NVIDIA Jetson

Jetson Orin Nano Super(8GB)：适合3B/Phi-3模型。 AGX Orin：vLLM上约40 tok/s运行20B类模型。 Jetson T4000(JetPack 7.1)：2x AGX Orin性能。

TensorRT Edge-LLM

NVIDIA的边缘优化引擎。支持EAGLE-3投机解码、NVFP4量化和分块预填充。CES 2026展示。

实践

code/main.py模拟带宽受限解码速度在不同模型大小和带宽配置下。

输出

本课程产生outputs/skill-edge-inference-planner.md。给定目标设备和模型，估算解码速度并推荐量化策略。

练习

1. 计算7B INT4模型在80 GB/s带宽下的理论解码速度上限。
2. 为什么统一内存(Apple)比离散GPU内存对边缘推理更好？
3. WebLLM在M3 Max上41 tok/s。在8GB Android设备上预期什么？
4. 设计边缘部署：Jetson Orin Nano Super，实时对话，<500ms TTFT。选什么模型？
5. 阅读WebLLM GitHub。列出支持的模型和浏览器要求。

关键术语

延伸阅读

• WebLLM GitHub
• Apple MLX Framework
• NVIDIA Jetson Developer Site