多模态大模型（VLM + 扩散）相关 GitHub 项目

提示

先订阅读目标（学 API / 学算法 / 学工程），再 clone；避免无目的「收藏式学习」。

精选清单

仓库	为何值得读	链接
haotian-liu/LLaVA	经典开源 VLM	https://github.com/haotian-liu/LLaVA
QwenLM/Qwen2.5-VL	强大多模态系列	https://github.com/QwenLM/Qwen2.5-VL
openai/CLIP	对比学习对齐	https://github.com/openai/CLIP
huggingface/diffusers	扩散模型库	https://github.com/huggingface/diffusers
lllyasviel/ControlNet	可控条件生成	https://github.com/lllyasviel/ControlNet

建议阅读顺序

1. 入门示例仓库：跑通 README 的最小命令；
2. 核心库：只精读与本课支柱相关的目录；
3. 生产级项目：看配置、CI、基准与失败处理；
4. 对照实现：同一问题的两种实现差异。

如何做代码导读笔记

## 仓库
- 问题：它解决什么？不解决什么？
- 入口文件：
- 关键数据结构：
- 性能相关点：
- 我能复用的 3 个点：
- 我不会照搬的 2 个点：

本地跟读模板

git clone https://github.com/<org>/<repo>.git
cd <repo>
# 创建只读笔记分支，避免污染
git switch -c notes/multimodal-llm

许可与合规

使用前确认 License；对权重、数据与安全扫描结果保持谨慎；企业环境走内安流程。

下一步

结合 开发指南 把上游模式映射到自己的模块边界。

延伸阅读与练习

1. 精读本课七天子站 Day1–Day2，并在笔记中用自己的话重述。
2. 选择一个指标，连续三天同口径测量，观察方差。
3. 找一个失败案例，写「根因假设 → 验证方法 → 结论」。
4. 把工具版本钉死在锁文件或容器镜像摘要。
5. 向同伴做 5 分钟讲解：若对方能复述指标口径，即过关。

参考口径示例

experiment:
  name: baseline-1
  course: multimodal-llm
  hardware: "记录 GPU/CPU"
  software:
    python: "3.x"
    key_libs: ["..."]
  metrics:
    primary: "按课程定义"
    secondary: ["latency_p50", "latency_p90", "error_rate"]