端侧 AI 与移动端本地推理工程

从 iOS / Android 的模型运行、量化和硬件能力，到持续性能、发热、电量、隐私与产品路由。这里关注的不是“模型能不能跑”，而是它是否值得进入真实 App。

端侧推理的正确问题不是“能不能塞进手机”，而是：在目标设备上，离线、隐私和成本收益能否覆盖模型体积、热降频、电池消耗、兼容性和开发维护成本。

主题

模型体积、Core ML、ANE/NPU、内存、首 Token 延迟和 App 生命周期。

ONNX Runtime、NNAPI / NPU、设备差异、量化和 APK 体积。

GGUF、量化、上下文、CPU/GPU/NPU 资源和离线运行边界。

不是只看 tokens/s；还要看持续负载、热降频、电池消耗和交互流畅度。

什么数据应该留在设备、什么任务仍需要云端，以及本地模型真正带来的隐私收益。

同一套 App 根据设备能力选择小模型、大模型或云端模型，避免低端设备被强行拖慢。

从性能、隐私、成本和产品体验判断哪些能力应该放到设备上。

以真实移动产品为例讨论设备能力、发热与用户体验。

模型和端侧工具统一进入真实任务评测体系。