单元三 · 图像声音与视频的智能生成
第13课 根据文字生成图像
一、学习目标
- 了解图文语义对齐的作用。
- 理解图文语义对齐的基本原理。
- 知道图文语义对齐在「文生图」过程中的作用。
二、情境导入
用文字描述搜索图像，可以怎么实现？
一种是预先标注再匹配；另一种是让系统「理解」图文并按相似度查找——后者依赖语义对齐。
三、核心讲解
本课学习路径：
1图文语义对齐
2图文语义对齐的应用
1．图文语义对齐
「理解」图像与文字，就是让表示相同含义的图像和文字在语义空间中更贴近，这个过程叫图文语义对齐。
图文语义对齐：调整文字与图像的语义编码，使「猫」靠近猫图、「狗」靠近狗图；同类之间也应比异类更近。
- 对齐前可能出现不合理现象：文字「猫」反而离汽车图更近
- 对齐后：猫—猫图、狗—狗图、汽车—汽车图距离应变小；猫与狗应比与汽车更近
- 语义编码可用简化坐标帮助理解距离与相似度
想一想：用文字搜图时，系统比较的是像素本身，还是语义编码之间的距离？
2．图文语义对齐的应用
对齐之后，图像与文字处在同一语义空间，可以互相比较与匹配，从而支持「以文搜图」「文生图」等。
文生图：模型在大量匹配的图文对上学习，把文字语义映射为视觉元素，生成符合描述的图像。
- 提示可逐步细化：大熊猫 → 正在吃竹子 → 在竹林边吃竹子
- 描述越具体，生成图像通常越容易贴近意图（仍需人工判断偏差）
- 本课 MixAI 可体验根据文字生成图像，感受对齐作用
想一想：「以文搜图」四步：提文本特征 → 提图像特征 → 算相似度 → 按相似度输出，缺哪一步会失败？
弄清以上要点后，再进入下方动手体验，用实际操作验证。
四、动手体验 · MixAI 组件
请在下列组件中完成操作，至少体验一个并记录现象。
组件 model_diffusion_image_generation — 用文字提示生成图像，观察描述是否映射到画面元素（文生图）
组件 model_image_similarity_calculation — 对比「提示对应内容」与无关图的相似度，体会图文对齐后的匹配思想
五、课堂总结
- 图文语义对齐可理解为调整文字与图像的语义编码，使它们在语义空间中更贴近。
- 对齐后可对图文编码进行计算、匹配与理解。
- 对齐支撑以文搜图、根据文字生成图像等应用。
六、拓展提升
- 设计「以文搜图」框架：提取文本特征 → 提取图像特征 → 计算相似度 → 按相似度输出，并说明关键技术。
测评
对照本课学习目标作答（客观题练习）；选出后点「检查」。答错会显示简短说明。
图文语义对齐的目标是：
「文生图」能够根据描述生成图像，主要因为：
判断：语义对齐前，文字「猫」也一定离猫图最近。
本节小结
回顾本课要点，完成动手体验与测评。记住：根据文字生成图像。