边缘 AI 与端侧部署入门介绍
七天实战
边学边练请访问 边缘 AI 与端侧部署七天学会 子站（StoneXYZ AI 品牌），含课表、实验室与学习记录。
这门课解决什么问题？
边缘 AI 与端侧部署 面向希望把「听过概念」升级为「能拆解、能动手、能验收」的工程师与研究者。课程主张：把智能推到最后一厘米。
在真实项目里，失败很少来自「不知道名词」，而来自：
- 口径不一致：同一指标在不同工具里含义不同；
- 证据链断裂：只有结论没有可复现步骤；
- 过早优化：没建立基线就调参；
- 忽略约束：安全、延迟、成本、合规未进入设计。
本课程用 7 天把关键概念压缩成可执行路径，并与主站文档互相引用。
为什么现在学？
产业侧模型能力快速迭代，但工程债同步累积：评测不稳、部署不可复现、安全事件频发、成本失控。掌握 边缘 AI 相关栈（ONNX Runtime, TFLite, Core ML, NCNN 等），能让你在选型与排障时有「第一性原理」而不是靠运气。
核心支柱
| 支柱 | 要求 |
|---|---|
| 端侧约束 | 可教学、可验证、可迁移 |
| 模型小型化选型 | 可教学、可验证、可迁移 |
| Runtime（ORT/TFLite/CoreML/NCNN） | 可教学、可验证、可迁移 |
| 量化与图优化 | 可教学、可验证、可迁移 |
| 功耗与延迟 | 可教学、可验证、可迁移 |
| OTA 与隐私 | 可教学、可验证、可迁移 |
七天课表速览
| 日程 | 核心产出 |
|---|---|
| Day1 端侧画像 | 算力、带宽、电量、散热与隐私边界 |
| Day2 模型入口 | 蒸馏/量化/剪枝后的可部署形态 |
| Day3 Runtime | ORT Mobile、TFLite、CoreML 选型 |
| Day4 图优化 | 算子融合、常量折叠、布局转换 |
| Day5 性能账本 | TTFT、tokens/s、mAh、温升 |
| Day6 工程化 | 分包、降级、灰度、崩溃回滚 |
| Day7 交付 | 端云协同与合规清单 |
学习成果画像
完成本课程与配套文档后，你应能：
- 用自己的话解释 边缘 AI 的关键路径与典型失败模式；
- 搭建最小可运行实验并记录 基线指标；
- 阅读开源项目的核心模块并定位扩展点；
- 在发布清单中覆盖质量、安全与回滚项。
与站内其他课程的关系
建议路径：LLM 原理 → 后训练/压缩 → 推理引擎/CUDA → 端侧部署 → AI 安全。本课文档位于「AI 技术栈」，七天子站提供交互实验；主站文档提供可检索的深度文本与图示。
术语最小集
| 术语 | 一句话 |
|---|---|
| 基线（Baseline） | 未优化前的可复现指标快照 |
| 证据（Evidence） | 可复核的日志、曲线、配置与版本 |
| 验收（Acceptance） | 事先写清的通过/否决条件 |
| 回滚（Rollback） | 发布失败时回到上一已知良好版本 |
阅读地图
方法论：先测量，再故事
每次实验固定：
假设 → 变量（只改一个）→ 指标 → 对照 → 结论 → 下一步
不要用「感觉更快」替代数字；也不要用单一最优值掩盖方差。报告至少包含：配置、种子/版本、样本、P50/P90、失败案例。
安全与合规提示
学习内容仅供研究与防御/工程能力建设。涉及攻击面、红队、数据与算力时，请遵守法律与组织授权；生产变更需审批与审计。
小结
边缘 AI 与端侧部署 不是名词堆砌，而是一条从原理到验收的工程链。接下来进入 快速开始，把环境与第一份基线跑通。
深入：端侧性能账本
端侧优化常落入「只看 FPS」陷阱。建议固定账本：
| 指标 | 含义 | 注意 |
|---|---|---|
| 冷启动 | 首次加载到可推理 | 含模型反序列化 |
| 热启动 | 常驻后的延迟 | 与后台保活策略有关 |
| 峰值内存 | RSS/峰值 | 系统杀进程阈值 |
| 能耗 | mAh/千次推理 | 需统一样本 |
| 温升 | 持续负载 | 降频导致方差 |
深入：Runtime 选型直觉
- ONNX Runtime：跨平台、生态大，先验证正确性很好用。
- TFLite / LiteRT：Android 生态成熟。
- Core ML：Apple 设备最优路径之一。
- NCNN/MNN：移动端极致体积与性能场景常见。
- ExecuTorch：PyTorch 原生导出链路正在变强。
选型不是信仰，而是：算子覆盖 × 团队技能 × 包体 × 授权。
深入：端云协同
不是所有智能都该在端上。常见模式：端侧做唤醒/粗排/隐私特征，云侧做重推理；断网时降级到小模型或规则。把降级写进产品规格，而不是事故后补丁。