单元四

第15课 小格子走到终点——试错迈步与即时奖励

任务场景:格子迷宫上走一步拿奖励
任务场景:格子迷宫上走一步拿奖励

一、任务目标

理解试错学习是走一步、立刻得到奖励、再决定下一步;能在一条格子路上前进,到达终点得正奖励。

二、我们要学什么

  • 学习要点:小格子走到终点|试错迈步与即时奖励
  • 本课过关:能完成:说出每一步都有即时反馈;载入体验程序,指出走到终点得分、偏离则扣分或停止;改终点位置或步数后重新运行,得分跟着变。
  • 示例对齐:体验题对应本课「编程体验」;完整代码对应编程题1;补全与独立编写对应编程题2–3。均在 Mixly 图形化积木中完成。

三、本节要点

本课要认识试错与即时奖励。重难点是每步都要看反馈,而不是一次走完再算总分。要点对齐「小格子走到终点|试错迈步与即时奖励」。

1读场景明确真实任务
2对要点小格子走到终点|试错迈步与即时奖励
3载入运行图形化积木

四、解题思路

任务:在格子上迈步,根据即时奖励决定是否继续。请分清:位置是状态,走一步是动作。

本课主要用到:Mixly 图形化积木与屏幕输出。

  1. 1明确任务「走到终点」:到达应得正奖励。
  2. 2循环中每次移动一格,立刻根据位置给奖励。
  3. 3改终点或步长后重跑,观察奖励是否跟随。

流程示意(可对照左侧文字)

任务:走到终点循环中每次移动一格改终点或步长后重跑

五、图形块功能讲解

本课用到的 Mixly 图形块均已在前面的课讲过。请直接对照编程练习搭积木;若有遗忘,回到该积木首次出现的课页复习。

六、知识点讲解

试错是走一步、立刻得到奖励、再决定下一步。即时奖励让对错马上可见。本课用格子路作例子:到终点得正奖励。不必先讲完整的策略迭代公式。

先弄清:一步一反馈;再进编程练习对照得分。

七、编程练习

用下拉列表切换题目;下方 Mixly 默认显示图形化积木。请在 Mixly 工具栏点「运行」;「检查」读取 Mixly 代码自动判题。请先读本页「四、解题思路」与「五、图形块功能讲解」,再点载入。

参考代码(对照抄写到下方 Mixly)
def step(pos, action, goal=3):
    new_pos = pos + action
    if new_pos == goal:
        reward = 10
    else:
        reward = -1
    out = []
    out.append(new_pos)
    out.append(reward)
    return out

print(step(2, 1))
print(step(1, 1))

八、课堂练习

先完成两道正误判断,再做其余题目;选出后点「检查」。

  1. 判断:step 应同时给出新位置(或新状态)和这一步的奖励。

  2. 判断:统计人数、过马路这类任务都适合用强化学习乱试。

  3. 走到终点格子,本课设定通常是?

  4. 本课用小格子走路,是为了体会?

  5. 走一步时如果只改位置、不返回奖励,问题是?

九、本节小结

本课主题是试错与即时奖励:每走一步立刻看反馈。到终点得正奖励。