推理引擎原理常见问题

1. TTFT 和 TPOT 哪个更重要？

交互场景两者都要；批处理更看吞吐。先定义 SLA 再调参。

2. 为什么显存不够？

常是 KV Cache：batch×layers×heads×seq×dtype。

还需要较强数学吗？

需要「够用」的线性代数与概率直觉；更重要的是实验设计与工程判断。卡住时回到七天课 Day 对应章节。

文档和七天子站冲突听谁的？

以可运行实验与注明日期的版本为准；发现不一致请提 issue/反馈，我们会在更新日志记录修正。

如何证明自己学会了？

交付物：实验日志 + 对照表 + 一页架构图 + 能讲解的失败案例。比证书更有用。

排障决策树

下一步

若准备做完整项目，请打开 从零到一。

延伸阅读与练习

1. 精读本课七天子站 Day1–Day2，并在笔记中用自己的话重述。
2. 选择一个指标，连续三天同口径测量，观察方差。
3. 找一个失败案例，写「根因假设 → 验证方法 → 结论」。
4. 把工具版本钉死在锁文件或容器镜像摘要。
5. 向同伴做 5 分钟讲解：若对方能复述指标口径，即过关。

参考口径示例

experiment:
  name: baseline-1
  course: inference-engine
  hardware: "记录 GPU/CPU"
  software:
    python: "3.x"
    key_libs: ["..."]
  metrics:
    primary: "按课程定义"
    secondary: ["latency_p50", "latency_p90", "error_rate"]