机器人抓取数据集盘根

机器人抓取数据集

在利用深度学习的方法学习抓取位姿的任务中，获得训练数据集是很重要的一步。在这项研究初期，大多采用图像合成或者人工渲染的方法获得数据集，虽然这种方法可以轻松得到大量样本，但是在实际机器人抓取操作中，渲染的图片很难模拟真实环境。因此，让机器人在真实环境下自主抓取操作并完成数据标注工作很有必要中国机械网okmao.com。下面我们将介绍目前在基于 RGB 图像生成抓取点与抓取姿态的数据集，Cornell 抓取数据集，CMU 抓取数据集以及我们自己搭建的抓取平台采集的THU 数据集。

1、Cornell数据集

Cornell 数据集是由人工标注抓取位姿的数据集，由 280 个不同物体，1035 张样例图片构成，数据集中会对同一个物体摆放成不同位姿。如图1所示，上面两行给出原始物品摆放图片，由一个位置固定的相机采集 RGB 图像和点云图，下面一行给出人工标注抓取位姿的示意图，同一张图片可以标注多个抓取位姿，每一个抓取姿态由一个2D矩形框表示，绿色边表示二指爪预抓取位姿，红色边表示抓取闭合方向。

2、CMU 数据集

不同于人工标注的Cornell数据集，CMU 数据集则是采用机器人自主完成抓取并标注的数据集。人工标注的抓取姿态不一定适合机器人抓取，同时人工标注时不可能把物体的每个抓取姿态都标注出来。CMU数据集由Baxter 经过50K次抓取尝试，700小时的抓取操作采集得到。不同的常见物体被任意摆放在操作面上，相机固定在 Baxter 二指夹持器旁随机械臂一起运动。因为相机在机械臂位置确定，当机械臂垂直抓取操作面上的物体，采集的图像的视角均为俯视图，大小一致。在自动采集数据过程中，通过背景减法的找到操作台上物体的轮廓，通过在物体上随机采样一个点作为抓取点，角度是在 0°?180°之间均匀采样作为最终抓取姿态，二指爪闭合后向上抬升一定高度检测此时二指爪上力矩传感器的度数，如果大于一定阈值则说明抓取成功，反之则抓取不成功。图2显示了部分抓取成功的数据（Positive Grasp Patches）与抓取失败的数据（Negative Grasp Patches）。

进一步地，即使机械臂抓取成功的时候，这样的抓取姿态不一定稳定。Lerrel Pinto 通过摇晃机械臂或者Baxter的另外一只机械臂拽取已抓取的物体的方式，文中将这些操作方式定义为抓取对抗者。对抗者由深度网络构成，针对摇晃操作，网络生成的摇晃方向，针对拽取操作，网络生成拽取点。通过固定对抗者的摇晃大小与频率，拽取方向与拽取时的夹持力大小，完成对已抓取目标物体的对抗过程。如果在对抗者的对抗下，物体依旧没有脱离原来机械臂的二指爪，说明抓取为稳定鲁棒抓取姿态，反之为不稳定抓取姿态。通过这种方式去除掉一些不稳定抓取姿态的数据，过滤后的数据集更为可靠。

3、THU 数据集

由于机器人的抓取操作的结果很难在公开数据集上进行验证。为此我们利用现有的实验平台，搭建一套 UR5 机器人自主抓取操作平台，如图3所示，采集数据集 THU-Dataset。该数据集全部由机器人自主采集并标注。

我们THU 抓取数据集的采集平台由：UR5 机械臂，BarrettHand三指灵巧手，以及 Kinect深度相机构成。UR5 机械臂具有5Kg末端负载能力，六个独立旋转自由度（degree of freedom, DoF），工作区域可达 1.7 米球面以内；BarrettHand 三指灵巧手，有四个自由度，三个结构一样的手指，每根具有独立的一个弯曲自由度，其中两个手指（Finger1、Finger2）之间具有耦合的绕手掌旋转的自由度，另外一个手指（Finger3）的位置固定，每个手指的指尖处均带有 3*8=24 个触点的多阵列触觉传感器，手掌区域也有一个 24 触点的多阵列触觉传感器。另外在 UR5 机械臂基座前方摆放一个位置固定的深度相机 Kinect，俯视操作台面上的操作物体。

图3 数据采集系统

首先我们定义抓取数据集的抓取物品种类， THU 数据集共有17 种抓取物品。在数据采集过程中，先通过相机采集空白操作台的图片，然后将抓取物品随机地摆放在操作台上，通过背景相减法 MOG（Mixtureof Gaussians）处理摆放物体前后两张图片得到物品的位置信息，在物品位置区域均匀采样得到三指灵巧手抓取点。本实验中，三指灵巧手的活动手指（Finger1、Finger2）在固定手指（Finger3）对侧固定，将三指灵巧手作为二指爪夹持物品。UR5 机械臂末端固定灵巧手，灵巧手以固定速度闭合抓取物品。在得到区域抓取点后，抓取角度从 {?90°， ?80°，...，70°，80°} 这18 个角度随机采样（图4所示），该角度是相对于图像像素水平向右的角度。同样地，控制机械臂垂直向下抓取物体，在抓取完物体之后，抬升机械臂沿着固定方向旋转摇晃物体后，检测触觉传感器的值，如果大于一定阈值则说明抓取成功，保存该样本，反之则说明抓取失败，不保存该样本，直到保存对该样本的抓取成功次数达到 100 次为止。因此本 THU 数据集，一共针对 17 种物体，每种物体保存 100 次成功抓取的样本，数据集的部分标注结果如图5下半部所示。

深圳数显弹簧拉压试验机TLS-10厂家

原平试验机

万能材料试验机WDS-100厂家

磨损试验机生产厂

试验机WAW600B