第17课　物体翻译——多模态拼图

单元五

第17课　物体翻译——多模态拼图

一、任务目标

用字典把物体识别的英文标签换成中文：对上键才写到彩屏，完整程序只跑识别。

二、我们要学什么

学习要点：物体翻译｜标签再查字典
本课过关：能完成：说出物体翻译是先得到类别标签，再查字典才上屏；载入编程体验，指出 ImageNet 得到 x 后，用 mydict.get(x,0) 判断，对上才显示「电脑」「屏幕」或「菜单」；再运行完整程序，指出同样加载 ImageNet，但没有字典、也没有往彩屏写字。
示例对齐：编程体验对应「十学期兴趣课程/学期5/4-4-2 图像识别-物体翻译」；完整程序对应「十学期兴趣课程/学期5/4-4-1 图像识别-物体识别」。

三、本节要点

本课要认识物体翻译：识别给出英文标签，字典把它换成中文。重难点是分清两套——编程体验有字典才上屏；完整程序只循环跑 ImageNet。字典是人写的，apple 对应「菜单」说明映射不一定和实物一致。要点对齐「物体翻译｜标签再查字典」。

1读场景明确真实任务

2对要点物体翻译｜标签再查字典

3载入运行官方积木/代码

四、解题思路

任务：对照有没有字典。编程体验认出 laptop、screen、apple 才在彩屏显示对应中文；完整程序只跑 ImageNet。请对照彩屏 TFT。

本课主要用到：摄像头；彩屏 TFT（编程体验）。

1创建摄像头，加载 ImageNet。
2编程体验准备字典：laptop→电脑，screen→屏幕，apple→菜单。
3循环得到标签 x。
4体验用 get 查字典，有值才把中文写到彩屏。
5完整程序循环只取标签，不上屏、不查字典。

流程示意

五、图形块功能讲解

下面只列出本课首次出现的 Mixly 图形块（真积木截图）。已在前面课讲过的不再重复；先认新块，再点「载入」对照拖搭。

分类	作用	本课用法
字典	用若干键值对组成字典。	编程体验写成 laptop→电脑、screen→屏幕、apple→菜单。完整程序不用字典。
字典	键不存在时返回默认值。	体验用 get(x,0) 判断标签在不在表里。不在就得到 0，不上屏。
字典	按键读取值。	确定在表里之后，取出中文写到彩屏，例如 mydict[x]。

六、知识点讲解

物体翻译把视觉模型给出的英文标签当成键，到字典里取出中文再显示。屏上的字来自人写的对应表，不是模型直接「说中文」。

知识点	本课怎么理解
标签是键	ImageNet 的 x 是英文类别名。体验字典里写了 laptop、screen、apple 三个键。
查到才上屏	mydict.get(x,0) 为真才 shows 对应中文。标签不在表里，屏上不换这几个词。
映射可以写偏	apple 对应的是「菜单」。对照实物时，要想到这是人填的值，不一定等于物体的常用名。
完整没有翻译	完整程序同样跑 ImageNet，但没有字典，也没有 onboard_tft.shows。

先看体验彩屏是不是「电脑／屏幕／菜单」，再看完整程序屏上有没有这些中文。

七、编程练习

点「载入」打开 MixVM（board=sant_design）。默认图形化积木；起步程序与积木优先来自 MixGo Sant「十学期兴趣课程/学期5」。语音/视觉在仿真中可能需真机或按键近似；在 Mixly 工具栏点「运行 / 停止」。请先读本页「四、解题思路」与「五、图形块功能讲解」，再点载入。

选择题目

官方示例：4-4-2 图像识别-物体翻译.mix。载入后运行。

九、本节小结

本课认识物体翻译。编程体验用字典把标签换成中文上屏；完整程序只跑物体识别。