多模态大模型(VLM + 扩散)常见问题
1. VLM 幻觉怎么压?
加强定位/OCR 数据、输出引用区域、拒答策略与人工抽检。
2. 扩散和自回归怎么选?
图像生成偏扩散/流匹配;统一理解生成也可走自回归多模态。
还需要较强数学吗?
需要「够用」的线性代数与概率直觉;更重要的是实验设计与工程判断。卡住时回到七天课 Day 对应章节。
文档和七天子站冲突听谁的?
以可运行实验与注明日期的版本为准;发现不一致请提 issue/反馈,我们会在更新日志记录修正。
如何证明自己学会了?
交付物:实验日志 + 对照表 + 一页架构图 + 能讲解的失败案例。比证书更有用。
排障决策树
下一步
若准备做完整项目,请打开 从零到一。
延伸阅读与练习
- 精读本课七天子站 Day1–Day2,并在笔记中用自己的话重述。
- 选择一个指标,连续三天同口径测量,观察方差。
- 找一个失败案例,写「根因假设 → 验证方法 → 结论」。
- 把工具版本钉死在锁文件或容器镜像摘要。
- 向同伴做 5 分钟讲解:若对方能复述指标口径,即过关。
参考口径示例
experiment:
name: baseline-1
course: multimodal-llm
hardware: "记录 GPU/CPU"
software:
python: "3.x"
key_libs: ["..."]
metrics:
primary: "按课程定义"
secondary: ["latency_p50", "latency_p90", "error_rate"]