案例名称：基于多感知的人机交互实践

一、案例基本情况

案例名称	基于多感知的人机交互实践	课程名称	[52001P20A3]人工智能项目实践
课程性质	专业必修	学分/学时	4/80
授课对象	软件学院/人工智能专业	授课时间	第六学期
章节名称	项目三：基于虚拟仿真的机器人应用实践	课程负责人	贾宁
教学目标	1. 知识目标：掌握机器人的基本操作技术；学会建立机器人多向移动技术；掌握机器人在虚拟系统下仿真设计。 2. 能力目标：能够熟练在 Linux操作系统中编写程序；能够熟练在Linux操作系统中应用第三方接口和调试程序。 3. 思政素质目标：树立工匠精神、培养职业使命感；培养学生具有科学思维方法。
教学重点	人机交互式行为的设计与反馈	教学难点	语音、视频等模态信息的识别与判断
课程思政理念	1. 以学生为中心原则 教学过程中，一切以学生为主体。明确教师和学生在教学活动中的职责。摒弃传统填鸭式讲授，以问题引导式，由教师引导，学生动手参与，实践过程中学会自主提出问题，最终在教师的引导下解决问题。 2. 思政渗透式原则 该门课程为工科类课程，以技术传授为主。在授课过程中，仍主要以传授技术技能为核心，课程思政以潜移默化，春风化雨的方式融入课程。为学生在学习技术技能知识的同时，增加情感的融入和升华。 3. 实践原则 机器人技术相关课程需要学生以动手实践为主，强调实践原则，要求学生在做中学。该门课程的课程体系设计是基于企业真实的工作流程和经典案例对课程内容进行重构而开展的模块化课程体系。通过虚拟仿真软件对企业真实工作环境进行模拟。引导学生实践。使学生在学习过程中理论联系实际，并结合实践操作，深化理论知识，培养逻辑思维，进而培养高素质技术技能型人才。
教学方法和手段	（1） 利用线上线下混合式教学方法，根据学生特点给与不同的学习启发。 （2） 探索多种形式的教学方法，激发学习积极性。除了传统的讲授式方法以外，可以探索各种形式的教学方法，如研讨法、任务驱动、问题探究、案例教学、启发式、互动式等。 （3） 在虚拟仿真平台中，实时关注学生学习状态。 （4） 企业导师把关实践环节，从产业角度衡量项目可行性

二、案例解析

1. 总体教学思路

1） 价值塑造：人工智能应用伦理

（1） 通过对机器人背景和概念的介绍，让学生了解行业需求和发展形势。

（2） 通过不同行业的真实案例，帮助学生掌握机器人取代人类工作的基本原则。

（3） 通过对并行处理技术的介绍，让学生掌握时间和空间互换的工程思维。

（4） 通过对机器人应用安全和知识产权的介绍，让学生了解行业生产中的专业伦理。

2） 知识传授：技术痛点与行业瓶颈

（1） 通过让学生了解国内机器人研发技术的痛点以及技术带来的产业革命，培养学生的紧迫感和国家意识。

（2） 探索多种形式的教学方法，激发学习积极性。

3）能力培养：科技创新【课赛结合】

（1） 本项目与《人工智能应用对抗大赛》相结合，学生将综合Python、数据结构、Linux操作系统、机器人编程、人工智能导论的基础知识，实现编程能力的融会贯通。

（2） 在课赛结合的基础上，辅导学生通过学习活动对人工智能项目开发流程进行建构，培养学生自主研究、合作交流的学习能力。

提倡个性化学习，通过线上自学、线下讨论的方式实现对新工具的基本使用和创新思维的培养。

表1 项目思政元素设计

2.教学设计与实施

1) 项目分析

本项目为人工智能专业第六学期课程，培养学生对机器人现场编程、离线编程与虚拟仿真的能力。通过问卷调查对学生学情进行调研、分析，学生思维活跃、动手能力较强；具备基本的机器人操作基础知识；缺乏实际工程经验，缺乏解决问题的方法和能力，不善于沟通和协作，职业使命感不强。

项目整体采用真实项目开发的模块化课程体系。本案例为项目三：基于虚拟仿真的机器人应用实践，教学时长约16学时。根据学生特点，遵照专业教学标准，确定如下三维教学目标。

知识目标：掌握机器人的基本操作技术；学会建立机器人多向移动技术；掌握机器人在虚拟系统下仿真设计。

能力目标：能够熟练在 Linux操作系统中编写程序；能够熟练在Linux操作系统中应用第三方接口和调试程序。

思政素质目标：树立工匠精神、培养职业使命感；培养学生具有科学思维方法。

根据以往经验，确定本项目重难点为：虚拟仿真环节中的程序编写与调试。

2) 项目实施策略

将项目中所蕴含的人文精神、家国情怀、文化自信和社会责任等体现社会主义核心价值观的价值理念和价值范式，并将这些理念和范式有意、有机、有效地融入课程教学的各个环节、各个方面。选择多个场景下机器人助力中国智能制造作为应用案例，展现机器人在工业发展中的重要性，呈现出中国大国风范，激发学生职业使命感与民族自信；从真实工程中挖掘精益求精、求真务实等工匠精神对提高机器人工艺、质量、生产效率等方面的作用，引导学生对“工匠精神”的进一步理解；针对项目重难点，教师基于学生已有的专业知识甚至生活经验对新知识进行类比、迁移，训练学生掌握新知识、新规律的方法，逐步培养学生科学的思维方式。

项目思政设计如下图所示。本项目设计以机器人作为防疫巡逻员（公共安全巡逻员）作为引入，以机器人自动化运动作为案例，设计“六步法”：资讯-计划-决策-实施-检查-评估，采用创设情境、引出问题，逐步分析问题、解决问题的思路，对大科在虚拟仿真平台的行为进行讨论和学习。

图1 项目思政设计

学生两人一组，通过仿真软件和设备操作相结合方式，自主学习与合作学习相结合。教学中利用学习平台、仿真软件、第三方接口等多种资源和手段，创设一种生动活泼的学习氛围，让学生在积极主动的心态下接受知识、高效学习。

3) 实施过程

课前，教师上传电子课件、视频、阅读文献和任务书。学生预习并观看上述，了解机器人工作流程，了解机器人仿真软件基本操作步骤，并完成课前讨论。教师根据测试结果调整教学。课中，主要分为定任务、定计划、编程序、调程序和促提高五个环节。如下图所示。

图2 项目思政设计流程

（1） 情境创设定任务

以国内自主研发的防疫巡逻员（公共安全巡逻员）机器人作为项目引入，创设情境，激发学生民族自豪感与爱国热情。播放小区保安巡逻视频，其中存在部分人工完成的重复性工作，学生讨论机器替代人的可能性。教师以设计“机器人自主运动”子项目为例，引导学生计算人工每日工作量，学生基于数据讨论机器替代人的必要性，初步提出解决方案。使学生意识到我们通过专业技术解决了“人的问题”，初步建立职业认同感，达成思政素养的基本认知。教师进一步引出由机器“换”人实现机器人改造项目，并给出改造目标，确定本次课程目标。

 

图3   泉智1号消毒机器人             防疫消杀机器人

（2） 小组讨论定计划

根据教师下发任务，学生分小组认领虚拟场景中的大科，并以科学家名字对其命名，鼓励学生将科学家坚忍不拔、一丝不苟的精神以及不畏困难的勇气应用到本次项目中。结合课前预习，各组讨论该改造项目实施方案，确定工作角色，制定工作流程。

图4 小组讨论过程

（3） 小组协作编程序

教师引导学生观察机器人实际的工作流程，基于类比法小组协力得出机器人的工作流程并画出机器人工作流程图，借助前期专业课程已学过的程序指令，各小组将工作流程图转化为机器人程序流程图并上传学习平台，通过组间讨论进一步优化，在得到教师认可后开始实施编程。在过程中培养学生科学思维方法，从而破解本项目的教学重点。

（4） 数字孪生调程序

程序初步完成，教师引导学生通过虚拟仿真软件进行调试、学生主动纠错，组长记录已解决问题和未解决问题，在群中共享问题和解决方案，教师汇总所有问题。针对未解决的综合性问题，教师教授学生逻辑性的程序调试方法，如程序切片法，培养学生条理化思维习惯，以及分析问题解决问题的能力，授学生以“渔”。学生自主对程序纠错，初步完成机器人虚拟仿真任务。

教师再次播放人工防疫巡逻的视频，要求学生对比仿真工作站机器人的效率与人工的效率，引出效率问题，提示学生要将其作为改造项目的关键点，同时使学生意识到本次项目在解放工作人员的基础上，对自动化的发展也起到推进作用，深化学生对本职业的认同感。学生讨论机器人效率影响参数，并查看真实案例吸取经验，鼓励学生探究机器人转角半径、速度等参数设定值的最优解，加强学生工匠精神以及创新思维的培养。通过程序调试，破解教学难点。

3. 教学效果及评价

1）教学效果

实施时间：2021-2022（3）第三周-第四周

思政主题：学会识别假象，明辨是非（第三周）；

虚实结合，激发行业认同感（第四周）

第三周实施过程【学会识别假象，明辨是非】

（1） 语音

第1天造假：

  

  

图5 语音实现过程

第2天打假：语音识别【分析原因：汉语言的博大精深，才会出现错误】

（2） 图像

图像打假：人脸验证【科技创新、公共安全问题】

图6 图像识别过程

第四周实施过程【虚实结合，激发行业认同感】

公共安全巡逻员机器人作为项目引入，其控制方式包括：

（1）纯手工控制（基础编程控制机器人运动）

（2）半自动化控制（手动切换语音和图像）

（3）全自动化控制（机器人自主运动，完全脱离人类）

（1）——（3）难度逐渐增加，如何访问到摄像头无法观察到的死角？如何判断声音的真假？机器人是否有取代人类的可能性？

图7 虚拟现实过程

2）教学评价

（1） 对标【知识与技能】，组织线上学习，结合自主开发的机器人编程平台和线上虚拟仿真教学的形式，强化计算思维，作为主讲教师自主研发的软件，亦是自主创新的榜样。

（2） 对标【方法与能力】，采用跨越真实世界与抽象世界的案例教学模型，通过个人项目实战，强化编程技巧，培养学生学以致用的能力。体验“走捷径”是不可取的，有时候走弯路，反而是一种走捷径。

（3） 对标【思维与创新】，面对真实问题，不以任务达成为唯一目标，而是在任务中自由的探索。学生讨论程序方案，“思辨”与“抉择”， “学生画龙，教师点睛”。考核过程中设置【信息观察员】角色，一种学生互评的变种方法，评价他人的同时，寻找自身不足。

（4） 对标【未来与发展】，组织项目教学，以项目挑战形式，借助自主开发的项目管理，将具有专业知识背景的学科前沿高难度项目引入本项目中，加深专业认知，了解我国的行业短板，自主创新的方向。

基于上述评价要点，设计项目的终结性考核方式如下：

终结性考核主要分为五个阶段，包括机器人演示（50分）、回答问题（20分）、项目报告（20分）等内容。

大作业开发以小组为单位，两人一组，要求完成在指定迷宫场景下的桌面应用开发和虚拟世界接口开发，具体要求如下：

（1）题目自拟，小组协作完成机器人硬件与软件的开发。实现机器人的自主运动。

（2）可实现深度摄像头、麦克风阵列、雷达探测器的信息获取，机器人可进行对应的信息反馈。

（3）使用PyQT设计机器人界面，可使用第三方接口实现语音和图像的识别。

（4）机器人系统稳定运转。

其中，“终结性考核项目展示环节”思政点融入策略如下表所示：

表2  思政点融入策略

终结性考核（项目展示）	思政元素
（1）Pyqt桌面应用正常运行+5分，崩溃1次扣1分
（2）语音识别+5分，识别错误1次扣1分	【汉语言的博大精深，才会出现错误】
（3）语音合成+5分，播放错误1次扣1分	【安全意识，虚假语音诈骗造成的公共安全问题】
（4）摄像头调用+5分	【安全意识，摄像头图像可能造假，产生公共安全问题】
（5）图像识别+5分，识别错误1次扣1分	【数据安全意识，未经许可，不得随意冒用他人的服务信息】
（6）图像识别创新性功能+5分，识别错误1次扣1分	【授人以鱼，不如授人以渔】 【缺乏约束的创新，不可取】
（7）6个基础接口应用，机器人正常运动+5分，识别错误1次扣1分	【思考问题周详，学会未雨绸缪】
（8）组合接口应用，多1个组合接口+1分，最多5分	【条件是可以改变的，可以通过努力创造出事物发展所需要的具体条件】
（9）机器人到达目的地+5分	【做事有始有终，不管历经多少艰苦，都要爬到终点】
（10）机器人抵达被困动物处，兔子+1分，豹猫+2分，猪+2分，羊+2分，狼+5分（总计约16分）	【“走捷径”是不可取的，有时候绕弯路，反而是一种走捷径】 【如何做出合理的抉择】
（11）机器人走迷宫耗时，最多+15分，最少1分，未走到终点记0分	【时间管理】
（12）两组之间PK战，耗时短的队伍+2分	【时间管理】
（13）裁判员+5分，裁判员出错1次扣1分，加到对应小组身上	【明辨是非，没有规矩，不成方圆】 【复盘评价】
（14）破坏场景扣分，破坏1块砖扣1分，最多扣5分，破坏花草扣分，不要触及危险区域	【爱护环境】 【安全意识】

“形成性考核项目展示环节”思政点融入策略

表3  形成性考核思政点融入策略

部分形成性考核	思政元素
（1）第1周：ROS开源系统应用（10分）	【整体设计原则，效率更高】
（2）第2周：Pyqt界面设计（10分）	【透过现象，看本质】 【遵守科学规律】
（3）第3周：第三方接口应用，国内外接口的对比与应用（10分）	【民族自信】 【辩证观点，能够接收地域特色而衍生的信息化（声音、肤色等）差异】
（4）第4周：“我的世界”编程（10分）	【元宇宙+人工智能】【虚实结合】 【待解谜题，有技术封锁，激发职业使命感】

本轮终结性考核为学生提供了更高的开放性，要求每位学生要求每位学生从第1周开始分组，并进行项目预热，在实践学期的四周时间内，开展项目实践活动，每位同学选择不同主题的机器人，严格按照要求完成项目的基本内容。在评价时充分考虑学生的完成情况和题目的难易程度，综合打分。预期学习效果与终结性考核的打分规则如下：

图8 预期学习效果与终结性考核的打分规则

在对预期学习效果影响较大的重要形成性考核进行分析时，计算得到的预期学习效果的达成度如下：

图9 预期学习效果达成度

可以发现预期学习效果3的达成度相对较低，其他的预期学习效果相对较高。在预期学习效果3中，对于第三方接口的通信操作有一定的要求，学生经历了前两个阶段，均有明确的任务要求和操作步骤，而在第三方接口的应用部分，对于学生提出了更高的要求，学生可通过自学，独立完成Python接口的应用或修改。

三、案例反思

1.创新点

（1） 借助“机器人之力”挖掘‘思政之美’的育人模式

（2） 深刻领悟学科内涵，灵活使用科学手段

（3） 重塑大国工匠精神和科学素养

（4） 培养学生辩证唯物主义世界观

（5） 落实立德树人根本任务

2.改进措施

1） 复盘评价，促进提高

各小组对流程进行复盘，并在虚拟仿真环境下的运行过程进行分析、反思和评分，得分最高的小组汇报展示仿真结果，最后由教师点评总结。根据岗课赛证融合，参加素质教育竞赛《人工智能应用对抗大赛》决赛，基于多维度过程考核体系，对学生学习过程给出科学评价。

2） 课后拓展

课后，教师发布拓展任务。学生提交项目报告。基于实训室设备实施机器人的真实验证，完善虚拟平台仿真，邀请企业专家进行评价。

3） 项目资源建设

（1） 完善项目资源，专业知识与科学性有机结合

（2） 基于大数据信息采集，设计凸显特色的课件和视频资源

（3） 进一步强化实践环节，建设云平台资源，为学生提供真实生产环境下的学习条件。

（4） 及时完成各项思政案例的总结与存档。