单元六 · AI项目工坊
第27课 智能环境播报助手
一、学习目标
- 了解人工智能在图像描述和语音生成领域的应用，掌握智能环境播报助手核心功能的实现方法。
- 初步具备搭建简单人工智能辅助系统的能力，理解该系统在无障碍生活中的实际意义。
二、情境导入
人工智能是如何帮助视障人士更好地感知周围环境的？
计算机又是如何描述它“看”到的内容的？
智能盲杖作为AI与辅助设备结合的典型应用，能够帮助视障人士感知周围环境，极大提升了他们的出行安全与独立性。
三、核心讲解
本课学习路径：
1系统设计
2实现关键功能
3搭建系统
41 系统设计
5智能环境
6播报功能
1．系统设计
获取环境数据
反馈：根据结果再调整下一步。闭环能对照目标修正，开环则按预设一路执行。
- 对图像内容进行识别、描述
- 以语音形式将信息反馈给使
2．1 系统设计
要实现这一系统，首先需要获取用户拍摄的图像，然后通过图像识别技
模型：用已有例子学会规律，再对新输入给出预测或分类。
- 术提取其中的关键信息（如物体、场景、文字等），再将其转化为自然语言
- 描述，最后生成播报语音。这一过程涉及图像获取、内容识别、语音生成等
- 描述图像内容
- 将描述转换为语音
- 向使用者播报语音
想一想：参考下图思考，要实现这一系统，需要怎样的工作过程？需要哪些软硬件？
3．智能环境
播报系统的系统设计
- 在日常生活中，视障人士常常难以获取周围环境中的信息，如身前是否有人、动物、障碍物等。
- 借助人工智能技术，特别是图像识别、自然语言生成和语音生
- 成技术，可以开发出智能播报环境的系统，帮助他们更好地理解和使用这些视觉
弄清以上要点后，再进入下方动手体验，用实际操作验证。
四、动手体验 · MixAI 组件
请在下列组件中完成操作，至少体验一个并记录现象。
组件 model_sound_classification — 在框内完成操作
组件 model_sound_waveform — 在框内完成操作
五、课堂总结
- 1.图像描述、语音生成等人工智能技术可以帮助视障人士更好地感知周围环境，极大提升了他们的出行安全与独立性。
- 2.智能环境播报助手的系统设计可以分为“图像采集、数据传输、智能识别、信息反馈”四部分。
- 3.在描述图像中，图像描述、文字转语音等关键功能的实现中，可以使用预训练模型来达到较好的效果。
六、拓展提升
拓展：可以选择合适的工具和模型来实现这些功能，如轻量级目标检测模型、深度摄像头、超声波传感器、语音播报模块等。采用模块化设计可以很大程度上降低实现难度，在设计过程中也要充分考虑视障人士的使用体验哦，希望你能设计出一个不错的智能辅助系统！
测评
完成练习后作答；选出后点「检查」。答错会显示简短说明。
下列哪一项更接近本课学习目标？
本课课堂总结强调的是？
本课主题最贴近下列哪一项？
完成本课后，优先应该做什么来证明学会了？
判断：教学指南中的学习活动可以全部跳过。
拓展提升部分的作用是？
本节小结
回顾本课要点，完成动手体验与测评。记住：智能环境播报助手。