推理引擎原理相关 GitHub 项目

提示

先订阅读目标（学 API / 学算法 / 学工程），再 clone；避免无目的「收藏式学习」。

精选清单

仓库	为何值得读	链接
vllm-project/vllm	高吞吐 LLM serving	https://github.com/vllm-project/vllm
sgl-project/sglang	结构化生成与 RadixAttention	https://github.com/sgl-project/sglang
NVIDIA/TensorRT-LLM	NVIDIA 推理优化栈	https://github.com/NVIDIA/TensorRT-LLM
ggerganov/llama.cpp	CPU/GPU 轻量推理	https://github.com/ggerganov/llama.cpp
huggingface/text-generation-inference	生产 TGI	https://github.com/huggingface/text-generation-inference

建议阅读顺序

1. 入门示例仓库：跑通 README 的最小命令；
2. 核心库：只精读与本课支柱相关的目录；
3. 生产级项目：看配置、CI、基准与失败处理；
4. 对照实现：同一问题的两种实现差异。

如何做代码导读笔记

## 仓库
- 问题：它解决什么？不解决什么？
- 入口文件：
- 关键数据结构：
- 性能相关点：
- 我能复用的 3 个点：
- 我不会照搬的 2 个点：

本地跟读模板

git clone https://github.com/<org>/<repo>.git
cd <repo>
# 创建只读笔记分支，避免污染
git switch -c notes/inference-engine

许可与合规

使用前确认 License；对权重、数据与安全扫描结果保持谨慎；企业环境走内安流程。

下一步

结合 开发指南 把上游模式映射到自己的模块边界。

延伸阅读与练习

1. 精读本课七天子站 Day1–Day2，并在笔记中用自己的话重述。
2. 选择一个指标，连续三天同口径测量，观察方差。
3. 找一个失败案例，写「根因假设 → 验证方法 → 结论」。
4. 把工具版本钉死在锁文件或容器镜像摘要。
5. 向同伴做 5 分钟讲解：若对方能复述指标口径，即过关。

参考口径示例

experiment:
  name: baseline-1
  course: inference-engine
  hardware: "记录 GPU/CPU"
  software:
    python: "3.x"
    key_libs: ["..."]
  metrics:
    primary: "按课程定义"
    secondary: ["latency_p50", "latency_p90", "error_rate"]