单元四
第15课 小格子走到终点——试错迈步与即时奖励

一、任务目标
理解试错学习是走一步、立刻得到奖励、再决定下一步;能在一条格子路上前进,到达终点得正奖励。
二、我们要学什么
- 学习要点:小格子走到终点|试错迈步与即时奖励
- 本课过关:能完成:说出每一步都有即时反馈;载入体验程序,指出走到终点得分、偏离则扣分或停止;改终点位置或步数后重新运行,得分跟着变。
- 示例对齐:体验题对应本课「编程体验」;完整代码对应编程题1;补全与独立编写对应编程题2–3。均在 Mixly 图形化积木中完成。
三、本节要点
本课要认识试错与即时奖励。重难点是每步都要看反馈,而不是一次走完再算总分。要点对齐「小格子走到终点|试错迈步与即时奖励」。
1读场景明确真实任务
2对要点小格子走到终点|试错迈步与即时奖励
3载入运行图形化积木
四、解题思路
任务:在格子上迈步,根据即时奖励决定是否继续。请分清:位置是状态,走一步是动作。
本课主要用到:Mixly 图形化积木与屏幕输出。
- 1明确任务「走到终点」:到达应得正奖励。
- 2循环中每次移动一格,立刻根据位置给奖励。
- 3改终点或步长后重跑,观察奖励是否跟随。
流程示意(可对照左侧文字)
五、图形块功能讲解
本课用到的 Mixly 图形块均已在前面的课讲过。请直接对照编程练习搭积木;若有遗忘,回到该积木首次出现的课页复习。
六、知识点讲解
试错是走一步、立刻得到奖励、再决定下一步。即时奖励让对错马上可见。本课用格子路作例子:到终点得正奖励。不必先讲完整的策略迭代公式。
先弄清:一步一反馈;再进编程练习对照得分。
七、编程练习
用下拉列表切换题目;下方 Mixly 默认显示图形化积木。请在 Mixly 工具栏点「运行」;「检查」读取 Mixly 代码自动判题。请先读本页「四、解题思路」与「五、图形块功能讲解」,再点载入。
参考代码(对照抄写到下方 Mixly)
def step(pos, action, goal=3):
new_pos = pos + action
if new_pos == goal:
reward = 10
else:
reward = -1
out = []
out.append(new_pos)
out.append(reward)
return out
print(step(2, 1))
print(step(1, 1))
正在载入编程环境
正在载入 Mixly 图形化编程环境…
八、课堂练习
先完成两道正误判断,再做其余题目;选出后点「检查」。
判断:step 应同时给出新位置(或新状态)和这一步的奖励。
判断:统计人数、过马路这类任务都适合用强化学习乱试。
走到终点格子,本课设定通常是?
本课用小格子走路,是为了体会?
走一步时如果只改位置、不返回奖励,问题是?
九、本节小结
本课主题是试错与即时奖励:每走一步立刻看反馈。到终点得正奖励。