工研部-王亚运:基于机器视觉的机器人涂胶质量在线检测技术

发布日期:2016-4-7 浏览次数:1621

一、引言

    随着机器人技术的日益成熟和汽车产业的高速发展,越来越多的工业机器人投入到汽车生产之中。作为汽车生产重要组成部分的涂胶环节,由于其工作轨迹复杂、工作强度大以及运动准确性和平稳性要求高的特点,正逐步完成从手工涂胶到机器人涂胶的转变。近年来,随着国内工业生产自动化的不断推广和汽车行业竞争的日益加剧,机器人涂胶质量的传统检测技术已无法满足企业的实际生产要求,同时基于机器视觉技术的检测系统正逐渐取代传统的依赖于人类视觉能力的检测方法,广泛地应用于现代工农业生产中。因此,针对上述现状,本文设计了基于机器视觉的机器人涂胶质量在线检测系统以提高汽车企业的生产效率和自动化水平。


1 机器人涂胶质量检测现场图

二、系统介绍

    涂胶质量在线检测系统主要由机器视觉硬件平台和在线质检软件两部分构成,其目标任务是在线检测汽车前盖折边胶的胶线截面直径与胶线中心到车盖边缘的距离,图1为机器人涂胶检测现场。该系统在企业原有汽车前盖机器人涂胶系统的基础上,加装工业相机、镜头和光源等视觉装置,实时采集涂胶图像送至视觉系统工控机进行图像处理,并结合在线检测之前建立的涂胶质量标准信息库及涂胶机器人系统的相关数据,对涂胶质量信息进行分析,根据检测结果判断是否发出报警信号,同时将必要信息保存在本地数据库中,方便进行质量追溯查询,其系统框架如图2所示。

    视觉硬件平台方面,由于相机镜头等固定在机器人末端,为了解决检测过程中胶线被车盖翘曲部分或胶枪头挡住的问题,采用双相机配置,并设计可拆卸、可调整的灵活安装机构,通过示教调整机器人的涂胶轨迹和姿态以避免与车盖干涉,同时利用对比实验确定最优的安装姿态角和安装方位。


2 涂胶质量在线检测系统框图

    涂胶质量在线检测软件直接与用户交互,接受用户的命令和参数进行检测工作,并将涂胶质量的检测结果反馈给用户,主要包括图像采集与处理、机器人控制器通信、相机标定操作、图像分析、神经网络预测及数据库操作等模块。图3为基于MS Visual Studio平台开发的系统软件主界面。


3 视觉检测系统软件主界面

三、检测原理分析

3.1 相机离散采样标定

    在分析图像中被检测物体的实际尺寸和位置时,需要通过相机标定事先获得像素距离与实际距离的比例关系,同时得到胶线与图像边界的交点坐标以确定进行图像分析的区域范围。为了实现涂胶质量的实时检测,方案中将相机镜头等固定安装在机器人末端的胶枪上,其位置与姿态会沿涂胶轨迹时刻发生变化,导致涂胶位置的相机标定结果也随之改变,因而需要在实际在线检测之前对涂胶轨迹上每一个图像采集位置进行相机标定。同时因为汽车前盖曲面复杂,折边胶线为空间三维物体,传统的二维平面标定无法满足检测精度的需要。为了提高相机标定精度、简化标定流程,专门制作了尺寸已知的与胶体形状大小基本相同的标定物,将其固定在车盖的标准涂胶位置上,控制机器人进行不出胶的涂胶运动,并通过相机周期采集标定物图像,经处理分析得到标定结果,同时记录图像采集时刻的机器人末端位姿,完成离散采样标定。

3.2 神经网络涂胶信息预测

    由于相机离散采样标定无法给出涂胶轨迹上任意位置的标定结果,因而在线检测的程序实现过程中会出现标定结果匹配不准确的现象。同时,大量实验表明,当标定物图像对应的机器人末端位置姿态非常接近时,其标定结果和交点坐标也十分相近。因此,在标定位置的分布足够密集时,可以通过拟合预测的方法得到整个涂胶轨迹的任意位置所对应的标定结果和交点坐标的近似值。根据上述结论,本系统采用相机离散采样标定得到的标定信息和机器人末端位姿作为神经网络的训练样本,基于广义回归神经网络的拟合预测功能建立包含涂胶轨迹上任意位置所对应的标定信息近似值的涂胶质量标准信息库,为实际在线检测时进行对比分析提供必要信息。

3.3 系统工作流程

    由前文所述,本系统的工作流程主要分为两个阶段:首先,对采集到的每一幅标定物图像进行图像处理和分析,得到其标定结果及标定物与图像边界的交点坐标,然后以各标定物图像对应的机器人末端位置姿态为输入,以相应的标定结果和交点坐标为期望输出,进行神经网络的样本训练,此时训练好的神经网络即为涂胶质量标准信息库;其次,实际在线检测时,将当前胶线图像对应的机器人末端位姿输入到涂胶质量标准信息库中,根据输出的标定信息和交点坐标就可以对该胶线图像进行分析检测,最终得到涂胶质量信息。图4a)b)分别为上述两个阶段的工作流程。

4 系统工作流程图

四、检测算法实现

4.1 图像处理算法

    在建立涂胶质量标准信息库和进行涂胶质量在线检测的过程中,需要对采集到的标定物和胶线原始图像进行处理,去除干扰信息,突显图像的有效信息,以便于后续图像分析的进行。图5为涂胶质量检测的图像处理流程。

 

5 图像处理流程图

    首先,由于图像中标定物或胶线都是从胶枪出胶口处开始向各个方向延伸,当相机安装位置固定后,出胶口在图像中的坐标为定值,且出胶口附近的光照条件较好,因此以胶枪出胶口为中心对原始图像进行裁剪;其次,工业现场环境复杂,图像在采集和传输过程中常常会受到外界干扰而产生噪声,影响图像质量和检测精度,故根据噪声随机高频的特性,选择中值滤波器对图像进行滤波处理;由于胶线和标定物均为黑色,而车盖表面为金属灰色,两者在图像中的灰度值差异较大,可以通过最大类间方差法将胶线和标定物从车盖背景中分割出来,以便于后续处理的进行;图像经二值化分割处理后,在目标区域内可能会出现孔洞、边缘凹凸等缺陷,需要通过闭合运算与开启运算等形态学处理进行修正;最后,由于胶线和标定物的宽度和位置信息主要通过图像边缘体现,因此选用Roberst算子法对图像进行边缘检测。

4.2 图像分析算法

    在涂胶质量标准信息库的建立过程中,由于标定物的实际截面直径和固定位置已知,因此只需要分析出每幅标定物图像中标定物直径方向的像素距离与位置方向的像素距离,就可以得到该标定物图像对应的标定结果。标定物直径与位置信息检测算法实现流程为:先确定标定物与图像边界交点的准确坐标,然后以出胶口和交点的连线为中心,搜索图像中待检测区域的标定物中心线,接着以得到的中心线为基准,搜索线上指定位置处的标定物边缘点,对应边缘点间像素距离即为需要的标定物直径信息,同时在中心线的指定位置处搜索车盖边缘点,线上该点与对应车盖边缘点间像素距离即为待求的标定物位置信息。

    涂胶质量在线检测时,胶线图像的分析算法与标定物直径位置检测算法大体相同,区别在于分析对象由标定物的边缘图像转变为胶线的边缘图像,同时胶线与图像边界交点坐标的近似值由涂胶质量标准信息库提供。在得到胶线直径方向和位置方向的像素距离后,将其与涂胶质量标准信息库中的预测值进行对比,通过相应的比例关系计算出胶线的实际尺寸和位置信息:

 

    式中,D(i)d(j)分别为指定位置处胶线的截面直径与胶线中心到车盖边缘的距离;Dia(i)Dis(j) 分别为指定位置处胶线直径和位置方向的像素距离;FDFd分别为图像对应涂胶位置处直径和位置方向上的坐标投影比例;Dstddstd分别为标定物的截面直径与其中心到车盖边缘的实际距离;D̂iaD̂is分别为图像对应涂胶位置处的相机标定结果预测值(像素距离)。

4.3 神经网络预测算法

    广义回归神经网络是一种基于非线性回归理论的前向型神经网络,其较BP神经网络具有更好的函数逼近能力和稳定性,结构如图6所示。经实验分析可知,由于标定物图像的检测区域较小,标定物的尺寸和位置精度较高,同时相机离散采样的密度较大,因此本文选取每幅标定物图像经处理分析后得到的4个变量(xint, yint, Dia, Dis)作为训练样本的期望输出,其中xint, yint为图像边界交点坐标,Dia, Dis分别代表标定物的直径信息和位置信息;同时将与每幅标定物图像一一映射的6个机器人末端位置姿态变量(x, y, z, Rx, Ry, Rz)作为训练样本的输入,进行神经网络的训练学习,最终得到涂胶质量标准信息库。而实际在线检测时,只需将当前胶线图像对应的机器人末端位姿输入涂胶质量标准信息库中,就可以得到相应的相机标定结果及交点坐标的预测值,用于后续的涂胶质量分析。


6 广义回归神经网络结构图

五、系统在线运行实验

    在完成涂胶在线质检系统软硬件平台搭建,并进行了相机离散采样标定和涂胶质量标准信息库的建立之后,本文在机器人涂胶现场对视觉质检系统进行了在线运行实验,最终随机抽取20个在线质检样本。为了得到本系统检测性能的定量检验结果,采用人工检测方式对在线质检样本中各检测位置的胶线直径和位置尺寸进行手动测量,并将其作为准确尺寸对质检系统的检测结果进行分析。

综合分析人工检测与自动检测所得数据可知,涂胶质量在线检测系统在线运行时直径尺寸检测结果的平均绝对误差为0.3160mm,标准误差为0.3411mm,满足0.5mm的直径检测精度要求;位置距离检测结果的平均绝对误差为0.6242mm,标准误差为0.6675mm,满足1.0mm的位置检测精度要求;同时在线检测时间间隔为150ms,满足200ms的检测周期要求。

六、总结

    本文开发了汽车前盖机器人涂胶质量在线检测系统,该系统基于机器视觉技术和神经网络技术,对采集到的汽车前盖机器人涂胶图像进行处理和分析,得出折边胶胶线的直径和位置信息,实现了其质量的在线检测。基于机器视觉的自动检测技术是我院今后的研究重点和发展方向,同时结合公司在人工智能领域的研究成果,我院将为更多的企业或行业提供更加智能化的技术解决方案。

相关文章

·工研部-胡建:泵节能调速控制系统的研究
·工研部-庄金雷:视觉检测系统光源技术浅析
·研发部-丁先山:搭建机器视觉软件平台,提高我院研发设计能
·工研部-丁先山:关注机器人检测技术发展,提升机器人产品质
·吴伟国--面向作业与人工智能的仿人机器人研究进展
·工研部-丁先山:机器视觉技术及在机器人系统中的开发与应用
·项目推进部-汤德胜:工业机器人开发与应用介绍(一)
·公司服务机器人应用
·工研部-郑亮:嵌入式检测技术在机器人视觉领域中的应用