单元六 · AI项目工坊
第30课 训练模型玩游戏
一、学习目标
- 了解训练人工智能玩游戏的基本流程，掌握奖惩机制设计方法。
- 能够调用训练好的模型，实现利用人工智能自动玩游戏。
二、情境导入
当人工智能玩游戏时，如何从画面提取信息并决策？
又该如何评估它在游戏中的表现？
三、核心讲解
本课学习路径：
1分析任务
2选择人工神经网络
3训练模型并调用
1．分析任务
自动玩游戏常用强化学习：智能体与环境交互，根据反馈调整行为，追求奖励最大化。
状态 · 动作 · 奖励：状态描述当前局面；动作是可执行选择（如不动/跳跃）；奖励机制引导「活得更久、过更多障碍、避免碰撞」。
- 示例奖励：未碰撞每帧小分；穿过障碍加分；碰撞扣分
- 状态可用画面特征等多种方式描述，输入维度不同、优劣也不同
- 先在相关分析模块中观察状态、动作与奖励，再思考分辨率与特征压缩的利弊
想一想：如果把「碰撞」的惩罚设得很小，模型可能学出什么不良策略？
2．选择人工神经网络
经典 Q 学习用表格存「状态-动作」价值；状态空间很大（如图像）时，需用深度网络近似，即 DQN 一类方法。
DQN：深度 Q 网络把深度神经网络与 Q 学习结合，用网络估计动作价值，适合从游戏画面学习策略；网络结构可随任务设计。
- 井字棋得分表可看作小规模 Q 表思想；图像游戏则难以靠巨型表格穷举
- 卷积层提取视觉特征，全连接层输出各动作价值
- 本课 MixAI 可观察网络结构与连接参数，建立直观印象
想一想：为什么「状态特别多」时，表格 Q 学习会效率骤降？
3．训练模型并调用玩游戏
训练是反复试玩、积累经验并优化决策的过程；常用「探索—利用」：早期多随机探索，后期更多利用当前最优动作。
探索与利用：高探索率有助于了解环境、避免过早陷入局部策略；随训练推进逐渐增加利用比例，稳定发挥已学到的策略。
- 训练完成后，可调用模型在游戏中自动决策
- 评估表现时不仅看分数，也要看是否真的学到了避障与穿越
- 奖惩机制设计会直接影响学到的行为
想一想：若探索率一直保持极高，模型分数会怎样？若一直为 0 呢？
弄清以上要点后，再进入下方动手体验，用实际操作验证。
四、动手体验 · MixAI 组件
请在下列组件中完成操作，至少体验一个并记录现象。
组件 model_tic_tac_toe_game — 与策略模型对弈，体会「训练后调用模型自动决策」
组件 model_neural_network_playground — 训练分类网络，对照本课「探索/利用、奖励」讨论：参数学习如何改变决策
五、课堂总结
- 强化学习通过与环境交互学习决策，以最大化奖励。
- 需要完整体系：状态描述、动作空间与奖励机制等。
- 训练早期探索率高，随后逐渐增加利用；最后可调用模型自动游玩。
六、拓展提升
- 为「躲避障碍」类游戏改一版奖励规则，并说明它会如何改变学到的策略。
测评
对照本课学习目标作答（客观题练习）；选出后点「检查」。答错会显示简短说明。
自动玩游戏常用的核心技术路线是：
当状态空间很大（如图像）时，更合适的是：
判断：训练全程把探索率固定为 0，最有利于全面了解环境。
本节小结
回顾本课要点，完成动手体验与测评。记住：训练模型玩游戏。