单元二 · 文本的智能生成
第8课 注意力与文本生成

一、学习目标
- 通过造句活动,了解注意力机制的概念及其作用。
- 体验大模型如何通过注意力分配,保证生成文本的连贯性和准确性。
二、情境导入
人们阅读文稿时会不自觉地聚焦关键段落或关键词句,人工智能是否也能通过“数字化注意力”自动识别文本中的重要信息呢?
三、核心讲解
本课学习路径:
1认识注意力机制
2体验注意力机制
1.认识注意力机制
活动一接力情况示例
注意力机制:先抓住「认识注意力机制」在做什么,再用例子对照验证。
- 接下来,组建一支5到7人的造句队伍,通过两个接力造句活动,体验注
- 意力机制的作用。
- 活动二接力情况示例
- 接力过程情况示例
- 第1位成员想到一个词(字),写在卡片上,并把
想一想:设想的结果一致?
弄清以上要点后,再进入下方动手体验,用实际操作验证。
四、动手体验 · MixAI 组件
请在下列组件中完成操作,至少体验一个并记录现象。
组件 model_llm_chat — 在框内完成操作
组件 model_sentiment_analysis — 在框内完成操作
五、课堂总结
- 利用注意力机制,模型可以记住并聚焦重要信息,从而更好地生成文本。
- 注意力分布不是凭空产生的,而是模型通过不断学习,自动判断信息的重要程度,并据此生成后续内容。
六、拓展提升
拓展:在研究文本生成的过程中,研究人员提出了一种可能让人感觉“匪夷所思”的生成方法——可以不按照从左到右的顺序,根据前文生成后文,而是可以随机生成。请同学们尝试使用相关文本生成模型,感受生成过程。
测评
完成练习后作答;选出后点「检查」。答错会显示简短说明。
下列哪一项更接近本课学习目标?
本课课堂总结强调的是?
本课主题最贴近下列哪一项?
完成本课后,优先应该做什么来证明学会了?
判断:教学指南中的学习活动可以全部跳过。
拓展提升部分的作用是?
本节小结
回顾本课要点,完成动手体验与测评。记住:注意力与文本生成。