单元二
第5课 文本处理的基本单位
一、任务目标
用不同分词方式切开同一句话，比较结果差异，说清为什么「先拆成可计算的小单位」才能做后面的生成。
二、我们要学什么
- 词是文本处理的基本单位
- 不同分词技术切法可能不同
三、操作步骤
1输入或选择例句
2对比两种分词结果
3数一数词元数量差异
4讨论何时切法影响理解
四、网页体验
网页体验：分词方式对比
输入句子，对比不同分词方式的切分结果。
五、知识点讲解
分词把句子拆成可计算的小单位（词／字）。不同切法会影响后续统计与生成；先有可计算的单位，才能谈相似度与生成。
先弄清本课输入与输出，再进编程练习对照现象。
六、课堂练习
先完成两道正误判断，再做其余题目；选出后点「检查」。
判断：只点体验按钮，说不清「AI 做了什么、人做了什么」。
判断：每完成一次体验，用一句话说清本课要点「对比不同分词方式」，并区分生成结果与你的判断。
分词是在做什么？
不同分词工具结果？
「人工智能」较合理的切法常是？
七、本节小结
第5课「文本处理的基本单位」：先场景、再体验、后反思。