小编
近期国外BCI都在抵制我国新疆棉，这是一个禁绝确的举措，中国现在农业很多都是智能化，比如机器化采摘棉花，本日我们一起来分享个中的一些小知识。
支持新疆棉，期待中国AI农业智能发展！
1

序言

我们“打算机视觉研究院”一贯支持中国发展及政策，我们都会支持新疆棉！
2

棉花识别定位 | 中国智能识别棉花采摘支持新疆棉_棉花_图像 智能助手

简要

针对采棉机器手棉花识别定位难的问题，提出一种基于机器视觉的棉花识别与定位方法，搭建出双目立体视觉系统，在此根本上通过相机标定、图像采集、图像处理、特色提取等过程，打算得出棉株的深度信息以及其成熟棉 花的三维信息，其深度均匀偏差值为2.55ｍｍ，单位坐标偏差均值为（2.8ｍｍ，-1.4ｍｍ，-1.35ｍｍ）。
结果表明，基 于双目立体视觉对棉株上的成熟棉花进行三维空间上的识别定位是可行的。
3

背景

棉花是我国主要的工业根本及计策物资，也是广大棉农 脱贫致富的主要作物，在农业生产中霸占主要的经济地位。
新疆由于具备独特的光热资源，已成为全国最大的商品棉生 产基地。
新疆棉花总产量、海内发卖量以及出口量连续 多年位居全国之首，已经成为当地的支柱家当。
新疆与国 外的棉花栽种模式差别较大，棉花品种不同，且国产采棉机的 采摘效率不太空想，而由于入口采棉机价格本钱太高、零配件 价格高、维修用度高、做事不及时等成分的影响，农人接管不 了，难以推广，因此棉花采收一贯是制约新疆棉花发展和 经济效益提高的主要成分之一。
根据目前情形，亟需研究出 机器化、智能化的棉花采摘机器人，新疆的棉花栽种区域比较 集中，具有农业机器化、智能化的发展上风，因此充分利用先 进技能和装备并结合人工采摘和机器化采摘的优点，开拓一 种新型的棉花收成智能机已成为当前的紧迫任务。
个中视觉 系统紧张办理的是棉花自动识别与定位，也是机器化、智能化 棉花采摘机器人的关键难题。
目前，在果蔬收成机器人事情方面已有多国展开了研究， 美国学者 Schertz和Brown 于1968岁首年月次提出利用机器人来 完成一些采摘作业的思想，Takahashi等依据苹果在双目立 体视觉系统中旁边图像对中的视差，利用三维空间分割将2幅图像合成1幅中央图像。
Kondo等用4个光源以及3个摄像机组成了草莓采摘机器人，虽然海内涵农业采摘机 器人领域开展研究比较晚，但发展速率快，目前已得到很多研 究成果。
刘兆祥等根据苹果树的反射光谱特性，利用激光的 反射差异和三角丈量事理实现苹果的识别与定位。
刘坤 等为准确识别自然环境中被遮挡的棉花，提出了利用随机Hough变换来识别棉花的方法。
赵杰文等选取HIS色彩 空间的H通道对田间的番茄采取阈值分割的方法进行识别。
徐惠荣等利用颜色信息差来进行识别柑橘，同时在顺 光、逆光的情形下进行了柑橘的识别研究。
在棉花图像分 割方面，王勇等剖析了棉田环境中不同工具在几种常用色彩 空间下的颜色特色，提出了一种采取R-B色差模型的分割 策略。
韦皆顶等选取HSV色彩空间中的S通道对棉花进 行阈值分割。
本研究基于机器视觉对成熟棉花进行识别 定位，以期为实现成熟棉花的机器手采摘供应参考。
4

双目立体视觉

双目立体视觉指的是仿照人类双眼感知间隔的方法，以 实现机器视觉对三维信息的感知，常日基于三角丈量的方法， 利用2个或多个摄像头对同一景物从不同位置形成图像，从而通过视差规复间隔信息。
双目立体视觉模型一样平常可分为汇 聚式立体视觉模型和平行式立体视觉模型。
由于平行式立体 视觉模型须要相机与其光轴绝对平行，而这在实验室条件下 很难实现，以是一样平常多采取汇聚式立体视觉模型进行立体视 觉的利用。
在该模型下空间内的任意一点 Ｐ（Ｘ，Ｙ，Ｚ）过 Ｃ１、 Ｃ２ 摄像头拍摄图像的投影点像素坐标分别为 Ｐ１（ｕ１，ｖ１）、 Ｐ２（ｕ２，ｖ２），假设 Ｐ１、Ｐ２ 的坐标点已知，则可以利用摄像头的 内部参数和外部参数反求出 Ｐ点的天下坐标，即为 Ｐ＝ Ｍ１ －１ Ｐ１和 Ｐ＝Ｍ２ －１ Ｐ２。
Ｍ１、Ｍ２ 的打算公式分别为：
式中：ａｘ１、ａｙ１、ａｘ２、ａｙ２分别为摄像头 Ｃ１、Ｃ２ 在 ｘ轴和 ｙ轴上的 焦距；γ１、γ２ 分别为摄像头 Ｃ１、Ｃ２ 的不垂直因子；（ｕｏ１，ｖｏ１）、 （ｕｏ２，ｖｏ２）分别为摄像头 Ｃ１、Ｃ２ 光轴像素坐标；Ｒ、Ｔ分别为旋 转矩阵和平移矩阵。
5

相机标定

相机标定在于获取精确的相机内部参数（焦距、失落真系数、不垂直因子）以及外部参数（旋转矩阵、平移矩阵）。
本次标定试验采取Jean-YvesBouguet的Camera Calibration Toolbox-StandardVersion和StereoCameraCalibrationToolbox摄像机标定工具箱进行双目摄像头标定，先用旁边2个CCD摄像机从不同位置采集10对标定板图像；然后利用Camera CalibrationToolbox-Standard工具箱分别读入旁边CCD摄像机采集的标定板图像（上图）；末了采取交互式的角点区域提取方法，利用Matlab软件对标定板图像进行自动角点检测，得到左/右摄像头内部参数，并通过Camera Calibration Toolbox-Standard工具箱得到校正后的左/右摄像头外部参数（下表）。
基于PNCC的多值分割法对R-B灰度图进行分割试 验，图像分割结果如下图所示。
通过大量的试验可以看出，采取基于PNCC的多值分割法，图像分割的分割率≥91.68%， 并且有效保留了图像的层次性。
6

成熟棉花目标的特色点匹配

立体匹配即在左图像和右图像等分别找出真实天下中的某一点在2个摄像机成像平面上的匹配投影点。
紧张方法是依据目标物体的颜色，几何形状等特色，从立体视觉系统左，右摄像机同时拍摄的一组图像中通过某个特色从一副图像的某点搜素另一幅图像的匹配点。
为了使匹配的过程达到一定的抗噪能力同时减少歧义性，提出了特色匹配。
由于不受灰度的影响，以是抗滋扰性较强，同时打算量小、速率快，知足了相同的实时性。
特色点的选取和匹配，是利用双目立体视觉技能得到目标物体三维信息的关键。
成熟棉花在摄像机成像的投影近似一个标准的圆形，以是其在二维图像的形心基本是在摄像机平面上投影所形成的标准圆形的圆心，因此旁边图像上的圆心是一对最佳的匹配点，同时也是棉花采摘过程中空想的采摘点，因此可以直接提取并用于三维信息的打算。
利用左，右摄像机采集图像中成熟棉花投影圆心的提取结果如图3所示。
7

成熟棉花定位

棉株深度信息
对分割好的图像进行进行特色点匹配，等距的3组6幅图像的特色点坐标取均值，以减小有时偏差，处理完成得到6组不同间隔的成熟棉花特色点数据。
现取每个特色点的1对旁边匹配点P1、P2数据，利用相机标定得到的投影矩阵M1、M2，反求出特色点的天下坐标(X，Y，Z)，Z即为棉株的深度信息。
试验数据见下表，打算出来的深度偏差值均匀为2.55毫米，可以知足采棉机器手对不同棉株深度精确的哀求。
同一棉株不同位置成熟棉花的定位识别
由于棉株上存在多个棉桃，因而采棉机器手必要知晓棉株上对应成熟棉花的多个特色点的坐标，其精准度直接由机器视觉机构给定的匹配点空间坐标的偏差值决定。
本研究对同一棉株不同位置的成熟棉花定位识别，任取一个等距的组，其特色点的打算坐标与实际坐标如下表示，得到其均匀坐标偏差值为(2.8mm，-1.4mm，-1.35mm)，表明知足同一棉株不同位置的棉花识别定位的精确度哀求。
由于微信"大众年夜众号试行乱序推送，您可能不再能定时收到AI科技评论的推送。
为了第一韶光收到AI科技评论的宣布， 请将“AI科技评论”设为星标账号在看”。