单元二 · 文本的智能生成

第8课 注意力与文本生成

任务场景
任务场景:注意力与文本生成

一、学习目标

  • 通过造句活动,了解注意力机制的概念及其作用。
  • 体验大模型如何通过注意力分配,保证生成文本的连贯性和准确性。

二、情境导入

人们阅读文稿时会不自觉地聚焦关键段落或关键词句,人工智能是否也能通过“数字化注意力”自动识别文本中的重要信息呢?

三、核心讲解

本课学习路径:

1认识注意力机制
2体验注意力机制

1.认识注意力机制

活动一接力情况示例

注意力机制:先抓住「认识注意力机制」在做什么,再用例子对照验证。
  • 接下来,组建一支5到7人的造句队伍,通过两个接力造句活动,体验注
  • 意力机制的作用。
  • 活动二接力情况示例
  • 接力过程情况示例
  • 第1位成员想到一个词(字),写在卡片上,并把

想一想:设想的结果一致?

弄清以上要点后,再进入下方动手体验,用实际操作验证。

四、动手体验 · MixAI 组件

请在下列组件中完成操作,至少体验一个并记录现象。

组件 model_llm_chat — 在框内完成操作

组件 model_sentiment_analysis — 在框内完成操作

五、课堂总结

  • 利用注意力机制,模型可以记住并聚焦重要信息,从而更好地生成文本。
  • 注意力分布不是凭空产生的,而是模型通过不断学习,自动判断信息的重要程度,并据此生成后续内容。

六、拓展提升

拓展:在研究文本生成的过程中,研究人员提出了一种可能让人感觉“匪夷所思”的生成方法——可以不按照从左到右的顺序,根据前文生成后文,而是可以随机生成。请同学们尝试使用相关文本生成模型,感受生成过程。

测评

完成练习后作答;选出后点「检查」。答错会显示简短说明。

  1. 下列哪一项更接近本课学习目标?

  2. 本课课堂总结强调的是?

  3. 本课主题最贴近下列哪一项?

  4. 完成本课后,优先应该做什么来证明学会了?

  5. 判断:教学指南中的学习活动可以全部跳过。

  6. 拓展提升部分的作用是?

本节小结

回顾本课要点,完成动手体验与测评。记住:注意力与文本生成。