RoboMaster 2023大能量机关视觉识别教程

RoboMaster 2023大能量机关视觉识别教程

        2023新赛季，官方对大能量机关进行了更改。接下来的识别过程是本人刚接触rm时在梯队中写的，希望对大家的识别有所帮助。

图像预处理

        本步骤主要目的是提取想要的颜色，把不需要的颜色过滤掉。

核心思路是通过二值化，让白色区域为我们想要的颜色区域。

         这里有两种二值化的思路：

1：使用inRange函数，通过hsv找到需要的颜色。

不会用inRange函数的同学可以看一下这篇文章，学习如何实操。

(11条消息) OpenCV inRange函数 小白使用教程_不知所云的咸鱼的博客-CSDN博客

2：通过分离颜色通道，配合黑白二值化，实现提取想要的颜色区域。

代码如下：

	/*容器，存放分离通道后的图像*/vector<Mat> Channels;split(image, Channels);/*红色Mat redimage = Channels.at(2) - Channels.at(0);*//*蓝色*/Mat blueImage = Channels.at(0) - Channels.at(2);

        此处imshow了分离通道后的图像。

        由于在实际情况下，外界会有灯光等因素的干扰，imshow出来的图像不能像此处一样理想，所以需要用到二值化来消除噪声。

    /*二值化*/Mat binaryImage;threshold(blueImage, binaryImage, 140, 255, THRESH_BINARY);

思路1：

      作者的思路是将风扇上的箭头合并，使它成为特征图形。再确定能量机关的中心点R，最后通过两者中心矩确定需要打击点。

       确定R：我们确定轮廓，通常采用findContours函数。参数选择CV_RETR_TREE，CV_CHAIN_APPROX_NONE，建立关系树，找到需要轮廓。

对CV_RETR_TREE，CV_CHAIN_APPROX_NONE寻找轮廓不熟悉的同学，可以看这篇文章学习：

(11条消息) findContours函数串讲_不知所云的咸鱼的博客-CSDN博客

     通过观察，我们发现R轮廓，有一个没有任何同级轮廓的子轮廓，并且是满足前置条件下面积最小的轮廓，我们可以通过这个来确定R轮廓。

代码如下：

/*找到圆周运动的圆心——R*/vector<vector<Point>> outlines;vector<Vec4i> hierarchies;int minArea = 10000;int minId;Point2f center;  /*定义外接圆中心坐标*/float radius;  /*定义外接圆半径*/findContours(binaryImage, outlines, hierarchies, RETR_TREE, CHAIN_APPROX_NONE);for (int i = 0; i < outlines.size(); i++) {vector<Point>points;double area = contourArea(outlines[i]);/*面积排除噪声*/if (area < 10 || area>10000)continue;/*找到没有父轮廓的轮廓*/if (hierarchies[i][3] >= 0 && hierarchies[i][3] < outlines.size())continue;/*找有子轮廓的*/if (hierarchies[i][2] < 0 || hierarchies[i][2] >= outlines.size())continue;/*控制误差范围*/if (area <= minArea + 10 && area >= minArea - 20) {minArea = area;minId = i;continue;}/*面积最小的轮廓*/if (minArea >= area){minArea = area;minId = i;}}/*防止minId不在范围内报错*/if (minId >= 0 && minId < outlines.size()) {/*画外接圆并找到圆心*/minEnclosingCircle(Mat(outlines[minId]), center, radius);circle(test, center, radius, Scalar(0, 0, 255), 1, 8, 0);}else {//退出}

这里发现画外接圆并不稳定，代码可以从此处优化。

        通过膨胀，将风扇上的箭头合并，使它成为特征图形：

代码如下：

	/*膨胀操作*/Mat element = getStructuringElement(0, Size(3, 3));Mat dilateImage;/*dilate最后一个数字是膨胀次数*/dilate(binaryImage, dilateImage, element, Point(-1, -1), 2);

 由于膨胀会将R标特征损坏，所以在膨胀前先确定R的位置。

        之后寻找这个轮廓:

         它没有子轮廓，也没有父轮廓，是满足前置条件下面积最大的轮廓。

代码如下：

	/*轮廓发现*/vector<vector<Point>> contours;vector<Vec4i> hierarchy;double maxArea = -1;int maxId;findContours(dilateImage, contours, hierarchy, RETR_TREE, CHAIN_APPROX_NONE);for (int i = 0; i < contours.size(); i++) {vector<Point>points;double area = contourArea(contours[i]);/*面积排除噪声*/if (area < 20 || area>10000)continue;/*找到没有父轮廓的轮廓*/if (hierarchy[i][3] >= 0 && hierarchy[i][3] < contours.size())continue;/*找没子轮廓的*/if (hierarchy[i][2] >= 0 && hierarchy[i][2] < contours.size())continue;/*找面积最大的轮廓*/if (maxArea <= area){maxArea = area;maxId = i;}/*控制误差范围*/if (area <= maxArea + 50 && area >= maxArea - 50) {maxArea = area;maxId = i;}}if (maxId >= 0 && maxId < contours.size()) {/*画出需打部位轮廓*/drawContours(test, contours, maxId, Scalar(0, 255, 255), 1, 8);}

        得到此轮廓后，可以计算其中心点位置，通过此中心点和R轮廓中心点，计算距离，连线并延长，最后得到目标点。

代码如下：

 Point2f rectMid;/*半径参考长度所在轮廓几何中心*/if (maxId >= 0 && maxId < contours.size()) {/*计算矩*/Moments rect;rect = moments(contours[maxId], false);/*计算中心矩:*/Point2f rectmid;rectmid = Point2f(rect.m10 / rect.m00, rect.m01 / rect.m00);/*画出需打部位轮廓*/drawContours(test, contours, maxId, Scalar(0, 255, 255), 1, 8);rectMid = rectmid;}/*长度2：1计算需打击部位,存放*/Point2f target;/*目标点*/double multiple = 1.5;/*倍率，换算目标点所用*//*第一象限*/if (rectMid.x >= center.x && rectMid.y <= center.y) {target = Point2f(center.x + (rectMid.x - center.x) * multiple, center.y - (center.y - rectMid.y) * multiple);}/*第二象限*/if (rectMid.x <= center.x && rectMid.y <= center.y) {target = Point2f(center.x - (center.x - rectMid.x) * multiple, center.y - (center.y - rectMid.y) * multiple);}/*第三象限*/if (rectMid.x <= center.x && rectMid.y >= center.y) {target = Point2f(center.x - (center.x - rectMid.x) * multiple, center.y + (rectMid.y - center.y) * multiple);}/*第四象限*/if (rectMid.x >= center.x && rectMid.y >= center.y) {target = Point2f(center.x + (rectMid.x - center.x) * multiple, center.y + (rectMid.y - center.y) * multiple);}circle(test, target, 1, Scalar(0, 255, 255), -1, 8, 0);

得到最终效果图：

定义的点 target 即为目标点。

        完整版代码发布在github上了：fourthyuan/rm: rm入门代码 (github)，对你有帮助的话，帮我增加一下下载量吧。