Contour Extraction of Individual Cattle From an Image Using Enhanced Mask R-CNN Instance Segmentation Method

简介

Abstract

在畜牧业中，个体牛的可追溯性、它们的健康信息和性能记录在很大程度上依赖于计算机视觉和基于图像处理的方法。然而，其中一些方法在获取单个牛的实时信息方面的表现低于预期。毫无疑问，不准确的分割和不完整的提取每个牛的目标从图像是显著的因素。由于准确的分割是获取奶牛个体实时信息的前提，而Mask R-CNN算法依赖于同步定位与映射(SLAM)算法，因此在构建语义地图时，有时会以图像背景交换前景，需要增强现有的实现精确畜牧业的方法。为此，提出了一种增强的Mask R-CNN实例分割方法，以支持边界模糊和形状不规则的牛体。研究中采用的方法有以下几点:(1)利用广义颜色傅里叶描述子(GCFD)对图像进行预处理;(2)提供小于ResNet101 (Mask R-CNN的主干)的最优滤波器尺寸，用于提取更小的复合特征;(3)基于区域建议的多尺度语义特征利用;(4)现有Mask R-CNN的全连接层与子网络集成进行增强分割，(5)使用Grabcut对图像进行后增强。与其他先进的方法相比，在牛图像数据集上的实验取得了更好的结果，mAP值为0.93。

论文创新点

• 利用广义颜色傅里叶描述子(GCFD)对图像进行预处理;
• 提供小于ResNet101 (Mask R-CNN的主干)的最优滤波器尺寸，用于提取更小的复合特征
• 基于区域建议的多尺度语义特征利用
• 现有Mask R-CNN的全连接层与子网络集成进行增强分割
• 使用Grabcut对图像进行后增强。
• 与其他先进的方法相比，在牛图像数据集上的实验取得了更好的结果，mAP值为0.93

论文投稿期刊

IEEE access

INTRODUCTION

在世界上许多国家，农业部门对经济的贡献超过任何其他部门。肉类和乳制品是人类可持续发展最广泛需要的两种牛产品，其生产质量取决于生产牛的良好福利，因此有必要提高畜牧业的福利和管理水平，包括养殖者的福利和管理水平[1]。鉴定问题是养牛者面临的主要问题之一。没有正确标记或标记的牛，如果丢失或交换，将很难认领它们的所有权。从经典方法到现代方法，文献中提出了不同的鉴定方法

在过去，很多传统的构造，比如纹身，标签、照片、图纸、描述、烙印(热的和冻的)和耳朵切口是养牛人用于识别牛的识别方法，以防止出现丢失、交换、所有权纠纷和虚假保险索赔的情况。然而，这些牛的鉴定方法存在缺陷，不太令人满意。因此，人们提出了一些可区分的改进方法，以实现准确可靠的识别，因为人工标记无论是否持久，都为不同动物的复制提供了空间，可以进行交换。

在[5]炮口印法出现之前，牛的识别一直是通过在纸上画上颜色标记来进行登记和识别。这种经典的鉴定方法在牛被出售或接受官方测试时，会给饲养员带来麻烦，因为饲养员缺乏艺术能力对动物的图案和标记进行匹配的饲养员不同意。美国泽西牛俱乐部的O. H. Baker在彼得森的一篇名为《用鼻印鉴定牛》的论文中提出了用口鼻印作为永久鉴定方法的可行建议

彼得森的论文是第一篇发表的论文，提出了一种基于如今广泛接受的枪口印原则的永久性牛识别方法。然而，炮口印方法涉及大量的图像和高计算时间的个体动物识别相关在实现大规模和稳健的畜牧业时，个体牛的行为和健康信息的获取不能被忽视，因为这在支持管理部门做出与牲畜相关的决策方面发挥着重要作用[6]。在之前的迭代中，牛的监测使用了不同的传统技术，如射频识别(RFID)和基于传感器的机器[7]，而在最先进的基于视觉的设置中，图像分割是稳健和有效的牛的监测的先决条件

对分割后的图像进行不同的研究，提取视觉特征，对动物身体[8]-[12]的长宽、曲率、姿势等动物福利进行评价和行为分析。在基于视觉的牛个体监测和性能记录中，图像分割的准确性和效率在进一步分析图像时非常明显。然而，考虑到基于掩码区域的卷积神经网络(mask R-CNN)进行实例分割所依赖的传统SLAM算法，地图点信息的位置是空间中唯一分布密集或稀疏的几何点判断这些空间点的位置是否可行，可以获得相对准确的牛群目标位置信息，但无法获得较高的语义信息水平。目前在深度学习方面的进展为我们克服这一挑战提供了方向。深度神经网络在特征学习[13]，[14]中的潜能使计算机视觉、目标检测和分割领域取得了显著的进展。在对象检测方面，由fast RCNN方法[15]衍生而来的Mask R-CNN[16]方法对[17]对象的鲁棒检测做出了很大的贡献。在目标分割方面，MASK R-CNN有很好的图像目标检测和分割策略[18]但是MASK R-CNN实例分割算法在分割时不能完全区分图像前景和背景。

基于这些局限性，本文将语义图中的牛图像分割算法与Grabcut算法相结合，对该算法进行了改进。改进算法的意义在于在动态构建语义映射[19]的过程中提高了分割精度。通过改进算法，可以更准确地识别图像中的牛目标，更好地完成定位思路。本文的工作是检测和提取包含牛目标的关键图像，将图像输入到卷积网络中，通过对图像进行特征描述符的处理来进行牛的实例分割，然后利用Grabcut进行轮廓提取。本文提出了一种增强掩码R-CNN实例分割方法，用于从图像中提取个体牛的轮廓。本文的工作是在畜牧业应用中实现牛的实时溯源、健康信息和性能记录[20]、[21]的尝试。

本文的研究贡献如下:

• 利用广义颜色傅里叶描述子(GCFD)对图像进行预处理;
• 提供小于ResNet101 (Mask R-CNN的主干)的最优滤波器尺寸，用于提取更小的复合特征
• 基于区域建议的多尺度语义特征利用
• 现有Mask R-CNN的全连接层与子网络集成进行增强分割
• 使用Grabcut对图像进行后增强。
• 与其他先进的方法相比，在牛图像数据集上的实验取得了更好的结果，mAP值为0.93

模型

实验