推理引擎原理快速开始

七天实战

交互课表与实验室见 推理引擎原理七天学会。

你将在 60–90 分钟内完成

1. 确认本机/云主机工具链；
2. 打开七天子站完成 Day1 导读；
3. 跑通一个最小实验并写下基线；
4. 把结果记入学习笔记（本地或仓库）。

环境建议

项目	建议
OS	Linux x86_64（本站生产同系）或 macOS
Python	3.10+（若做训练/评测脚本）
Node	20+（仅当你二次开发七天前端时）
GPU	按课程：CUDA 课与推理课强烈建议；概念课可 CPU
磁盘	预留模型与日志空间，避免把根盘打满

第一步：打开七天学会子站

浏览器访问：https://inference-engine.chenxiaoshivivid.top/

你应看到 StoneXYZ AI 品牌导航与「7 天」学习入口。建议顺序：

1. 浏览首页目标与能力地图；
2. 进入学习路径 Day1；
3. 打开技能实验室做一次「无风险」交互实验；
4. 用站内搜索（若有 Ctrl/Cmd+K）定位关键词。

第二步：建立个人实验目录

mkdir -p ~/stone-ai/inference-engine/{notes,runs,artifacts}
cd ~/stone-ai/inference-engine
printf '# 推理引擎原理 实验日志\n\n' > notes/journal.md

每次 run 建议目录：

runs/2026-10-30-baseline/
  config.yaml
  metrics.json
  stdout.log

第三步：最小实验（概念可复现）

即使暂时没有 GPU，也先把「测量口径」写清楚。以伪代码示例：

# baseline_skeleton.py
from time import perf_counter

def run_once():
    t0 = perf_counter()
    # TODO: 替换为课程相关的最小调用
    result = {"ok": True}
    dt = perf_counter() - t0
    return result, dt

samples = [run_once()[1] for _ in range(10)]
print({"p50": sorted(samples)[len(samples)//2], "n": len(samples)})

把输出粘贴到 notes/journal.md，并注明：机器型号、软件版本、是否预热。

第四步：对照七天课表

天	聚焦
Day1 延迟拆解	排队、预填充、解码、传输
Day2 KV Cache	显存占用公式与复用
Day3 Batching	静态批 vs continuous
Day4 Attention 内核	FlashAttention / PagedAttention
Day5 调度	优先级、抢占、前缀缓存
Day6 量化推理	权重量化与 KV 量化
Day7 上线	SLA、扩缩容、可观测性

Day1 结束时的验收标准：

• 能口述本课要解决的问题与非目标；
• 有一份带时间戳的基线记录；
• 知道下一实验只改一个变量。

常见卡住点

现象	排查
子站打不开	检查 DNS/HTTPS；本机 curl -I https://inference-engine.chenxiaoshivivid.top/
指标不可比	是否换了模型/精度/批大小未记录
环境冲突	使用 venv/conda；固定依赖哈希

下一步

进入 开发指南 理解模块边界；或先浏览 GitHub 项目 选一个仓库跟读。

延伸阅读与练习

1. 精读本课七天子站 Day1–Day2，并在笔记中用自己的话重述。
2. 选择一个指标，连续三天同口径测量，观察方差。
3. 找一个失败案例，写「根因假设 → 验证方法 → 结论」。
4. 把工具版本钉死在锁文件或容器镜像摘要。
5. 向同伴做 5 分钟讲解：若对方能复述指标口径，即过关。

参考口径示例

experiment:
  name: baseline-1
  course: inference-engine
  hardware: "记录 GPU/CPU"
  software:
    python: "3.x"
    key_libs: ["..."]
  metrics:
    primary: "按课程定义"
    secondary: ["latency_p50", "latency_p90", "error_rate"]