单元三

第11课 物体识别

任务场景:物体识别
任务场景:物体识别

一、任务目标

分清两种视觉结果:物体识别给出类别标签,二维码识别给出码里的文字。

二、我们要学什么

  • 学习要点:物体识别|标签与二维码内容
  • 本课过关:能完成:说出物体识别给出的是模型猜的类别标签;载入编程体验,指出循环用 ImageNet 得到 data,没有打印也没有发声;再运行完整程序,指出改成 QRReader,读到内容就短声并 print 出来。
  • 示例对齐:编程体验对应 「十学期兴趣课程/学期5/4-4-1 图像识别-物体识别」;完整程序对应 「十学期兴趣课程/学期5/3-1-1 图像识别-二维码识别」。

三、本节要点

本课要分清「模型猜的标签」和「码里写死的文字」。重难点是两套模型不同——编程体验是 ImageNet 物体识别;完整程序是二维码,读到才发声、打印。要点对齐「物体识别|标签与二维码内容」。

1读场景明确真实任务
2对要点物体识别|标签与二维码内容
3载入运行官方积木/代码

四、解题思路

任务:对照物体识别和二维码。编程体验跑 ImageNet;完整程序读到二维码才短声并打印内容。请对照串口和喇叭。

本课主要用到:摄像头;喇叭(完整程序);串口(完整程序)。

  1. 1创建 240×240 摄像头。
  2. 2编程体验加载 ImageNet,循环取 data。
  3. 3体验没有打印、也没有发声。
  4. 4完整程序改加载 QRReader。
  5. 5读到内容 s 为真时短声并 print(s)。

流程示意

创建摄像头体验加载ImageNet体验只跑识别完整改二维码读到则短声打印

五、图形块功能讲解

下面只列出本课首次出现的 Mixly 图形块(真积木截图)。已在前面课讲过的不再重复;先认新块,再点「载入」对照拖搭。

图形块分类作用本课用法
图像识别结果
板载智能读取通用图像识别输出。编程体验用 ImageNet 取出 data,也就是类别标签。完整程序不用这块。
二维码内容
板载智能读取识别到的二维码数据。完整程序取出码里的字符串 s,有内容才发声、打印。

六、知识点讲解

物体识别根据画面给出类别标签,标签是模型猜的,可能和实物不一致。二维码读的是码里已经写好的文字,对上了才能打印。
知识点本课怎么理解
标签 ≠ 实物ImageNet 的 data 是类别名。看错、光线差都会给错标签。
二维码内容QRReader 的 data 是码里的字符串。有内容才进入发声和打印。
有没有输出体验循环只跑识别;完整程序用 if s 决定响不响、打不打印。
两种模型不要混物体识别和二维码是不同模型,本课用两套程序对照,不是同一个算法改参数。

先看体验有没有串口输出,再扫完整程序的码,听短声、看打印。

七、编程练习

点「载入」打开 MixVM(board=sant_design)。默认图形化积木;起步程序与积木优先来自 MixGo Sant「十学期兴趣课程/学期5」。语音/视觉在仿真中可能需真机或按键近似;在 Mixly 工具栏点「运行 / 停止」。请先读本页「四、解题思路」与「五、图形块功能讲解」,再点载入。

官方示例:4-4-1 图像识别-物体识别.mix。载入后运行。

八、课堂练习

先完成两道正误判断,再做其余题目;选出后点「检查」。

  1. 判断:编程体验循环使用 ImageNet 取 data,代码里没有 print,也没有发声。

  2. 判断:完整程序也是 ImageNet,不会读二维码。

  3. 物体识别给出的「标签」是?

  4. 完整程序读到二维码内容时会?

  5. 两套程序用的模型是?

九、本节小结

本课对照物体识别和二维码。编程体验跑 ImageNet;完整程序读到码才短声并打印内容。