单元二 · 文本的智能生成
第8课 注意力与文本生成
一、学习目标
- 理解注意力机制在文本生成中的作用。
- 能结合例子说明模型如何「关注」上下文中的重要信息。
- 体验注意力对生成质量的影响。
二、情境导入
生成下一个词时，为什么有时要特别关注前面某几个词？
「注意力」如何帮助模型抓住长句子中的关键信息？
三、核心讲解
本课学习路径：
1认识注意力机制
2体验注意力与生成
1．认识注意力机制
文本较长时，并非每个上文词都同等重要。注意力机制让模型在预测时对关键位置分配更高权重。
注意力：根据当前生成需要，动态关注上下文中更相关的部分，从而更好利用长距离信息。
- 例如填空时，决定选项的可能是相隔较远的主语或关键词
- 注意力使模型不必只依赖紧邻的一两个字
- 它是现代文本生成模型的重要组成部分
想一想：句子很长时，只看最后一个词来预测，容易犯什么错？
2．体验注意力与生成
通过对话或生成组件，观察不同提示与上下文下输出如何变化。
提示与上下文：提供更清楚的上下文，相当于告诉模型「该注意什么」，往往能改善生成相关性。
- 对比短提示与带关键约束的提示
- 记录：模型抓住了哪些关键词，忽略了哪些
- 思考注意力为何有助于减少「答非所问」
想一想：若提示互相矛盾，模型可能注意哪一部分？如何改进提示？
弄清以上要点后，再进入下方动手体验，用实际操作验证。
四、动手体验 · MixAI 组件
请在下列组件中完成操作，至少体验一个并记录现象。
课内实验 · 注意力示意 — 观察生成填空时，模型更应关注哪些上文词（尤其是相隔较远的线索）
真实模型用注意力给上下文加权。这里用简易规则：预测句末填空时，与线索更相关的词颜色更深。请对比短句与长句，体会「不能只看最后一个词」。
点「显示关注权重」，观察哪些词被标亮。
组件 model_llm_chat — 对比短提示与带关键约束的提示，记录模型抓住了哪些上下文
五、课堂总结
- 注意力机制帮助模型在生成时聚焦上下文中的重要信息。
- 合理的上下文与提示能提升生成相关性与可用性。
六、拓展提升
- 设计两条提示生成同一主题短文：一条缺少关键约束，一条突出约束，对比结果差异。
测评
对照本课学习目标作答（客观题练习）；选出后点「检查」。答错会显示简短说明。
注意力机制的主要作用是：
判断：生成时有时需要关注相隔较远的上文关键词。
提高生成相关性的可行做法是：
本节小结
回顾本课要点，完成动手体验与测评。记住：注意力与文本生成。