摘要

开发了机器人抓取实验教学系统
包括：模块化学习、数据集变动、网络设计与训练、场景搭建和实验验证

关键词

1. 深度学习；
2. 机器人抓取；
3. 虚拟仿真；
4. 实验教学

0 引言

涉及到图像处理、相机标定、卷积神经网络设计与训练、机器人运动学、运动规划与控制等方面知识。

1 基于深度学习的机器人抓取实验原理

传统方法：设计夹持器的抓取位置和抓取姿态
缺点：设计过程非常耗时，对设计者的技术水平依赖高

前人研究：

前人研究的不足：不能控制手指（采用的是夹具和吸盘）

抓取物体步骤：确定被抓取物体的位置及夹持器的位姿 $\to$ 移动到抓取目标位置 $\to$ 抓取

抓取框定义为：$G=\{x,y,h,w,\theta \}$

【第一层】用于获得抓取目标的位置，作为抓取框可能的搜索范围。
【第二层】深度信息与抓取框融合处理，剔除不合适的抓取框。
【第三层】优化选择得到最佳的抓取位姿。
网络数据集：康奈尔大学发布的抓取数据集 + 人工额外生成的抓取数据集
网络训练结果：70000次，93.7%准确率

虚拟仿真实验教学意义：服务器成本、投入的训练时间以及机器人成本非常巨大

2 机器人抓取虚拟仿真实验设计方案

2.1 虚拟仿真实验系统总体设计

四个模块：基础知识模块、仿真环境搭建模块（家庭场景、工业场景；30种典型物体；3种夹持器具）、深度学习网络模块（数据集处理和网络训练）和机器人智能抓取模块

2.2 机器人抓取实验教学过程

1. 练习模式：根据这些提示完成理论学习和实验操作；
   增加比实物机器人更丰富的容错机制和恢复功能
2. 考核模式：会出现相应的考核题目，只有完成该步骤对应的考核题目后才能进入下一实验步骤

机器人理论基础、卷积神经网络原理以及机器人抓取原理等基础知识的学习。

可利用界面左侧的控制界面调整机械臂的末端位置和夹持器位置，从而保证能够准确抓取到物体。

在网络设计时，学生可自主设计新的网络结构，设置不同的训练超参数，测试不同网络结构和超参数的检测效果。

3 实验教学考核与管理

自主获得得分
在考核模式中，学生在完成实验且确认无误后即可提交实验报告，实验系统会将实验报告输出成标准格式文件发送给实验教师。

实验平台入口

4 结语