信息所智慧农业团队在单目视觉下果实检测与定位算法研究方面取得进展

  近日,农业信息研究所智慧农业创新团队在国际学术期刊Biosystems Engineering(IF 3.215,中科院农林科学2区)上在线发表了题为 Monocular positioning of sweet peppers: An instance segmentation approach for harvest robots的研究论文。该研究提出了一种基于单目RGB图像的果实检测和定位方法,该方法不需要任何上下文信息即可在一幅图像中同时识别多个采摘目标,为智能机器人采摘的视觉导航提供算法支撑。

  果实的精确定位是采摘机器人领域备受关注的关键问题。复杂的环境和近在咫尺的环境使得人们对温室内密集作物的感知成为一个具有挑战性的问题。与现有的涉及特殊设备或其他辅助信息的定位方法不同,本研究提出了一种基于单目RGB摄像机的实例分割定位方法。为了获得较高的定位精度,我们首先在多任务框架下设计了一个深卷积神经网络(CNN),输出二值分割图和一个嵌入的特征图。为了解决多任务优化引起的二值分割任务在联合交叉口(IoU)中性能下降的问题,在16个卷积层视觉几何群网络(VGG-16)的基础上,对网络的编码器部分进行了重新设计。然后利用mean-shift聚类实现实例分割。最后,提出了一种不需要任何上下文信息的水果轮廓提取算法。在此基础上,选取轮廓面积最大的五种水果作为目标进行定位。

  该研究在一个公开的甜椒数据集上验证了方法的有效性,并取得了有竞争力的结果。除以水果的半径,本方法收获顺序中第一个目标的平均位置误差优于现有语义分割方法。对于收获顺序中的前5个目标定位误差与只有一个目标输出的语义分割方法精度相似。本研究成果有助于机器人采摘的视觉导航,提高采摘行为的成功率。

  本论文第一作者为陈诚助理研究员,通讯作者为任妮副研究员。该研究得到了江苏省农业科技自主创新项目【CX(18)2029】资助。

  原文链接:https://doi.org/10.1016/j.biosystemseng.2020.05.005

20200707信息所智慧农业团队在单目视觉下果实检测与定位算法研究方面取得进展.png