单元二

第8课 注意力与文本生成

一、任务目标

任务场景:第8课
任务场景:第8课 注意力与文本生成

观察注意力热力图:指出模型生成时更关注哪些位置,并解释为什么「有的词被多看、有的词被少看」。

二、我们要学什么

  • 注意力(课堂示意)决定生成时更「关注」哪些上文
  • 可用热力图观察关注分布

这里的「注意力」是简化热力图演示,帮助理解「生成下一个词时更看重上文哪些位置」;它不是完整 Transformer 实现,也不表示模型像人一样在「盯着看」。

三、操作步骤

1生成注意力热力图
2找出被关注最多的词
3改句子再观察
4联系写作时的「呼应」

四、网页体验

网页体验:注意力热力图

点「生成注意力热图」,观察词与词的关注强度。

五、知识点讲解

注意力让模型生成时多看某些位置、少看另一些位置;热力图帮助建立「有的词被多看」的直觉。

先弄清本课输入与输出,再进编程练习对照现象。

六、课堂练习

先完成两道正误判断,再做其余题目;选出后点「检查」。

  1. 判断:只点体验按钮,说不清「AI 做了什么、人做了什么」。

  2. 判断:每完成一次体验,用一句话说清本课要点「观察注意力矩阵」,并区分生成结果与你的判断。

  3. 注意力机制帮助模型?

  4. 热力图颜色更深常表示?

  5. 生成下一个词时可以?

七、本节小结

第8课「注意力与文本生成」:先场景、再体验、后反思。