煤矸石智能分拣机器人研究进展与关键技术
张烨1，2， 马宏伟1，2， 王鹏1，2， 曹现刚1，2， 魏小荣1，2， 周文剑1，2
（1. 西安科技大学 机械工程学院，陕西 西安 710054；
2. 陕西省矿山机电装备智能检测与控制重点实验室，陕西 西安 710054）
摘要：煤矿井下矸石被煤泥包裹，煤矸石识别难、分拣难；井下工作空间狭小，设备布局难、煤矸石分流难，因此，需要研发高性能、高可靠的煤矸石智能分拣机器人。分析了煤矸石智能分拣机器人中煤矸石识别、机器人轨迹规划、多动态目标多机器人协同控制技术的研究现状。指出煤矸石分拣工作环境复杂，其质量和形状不规则且呈随机分布，因此，复杂环境下煤矸石识别与抓取特征提取、非结构环境下煤矸石稳定可靠抓取、多目标任务多机器人智能协同分拣是煤矸石分拣智能机器人的3大关键技术，提出要实现机器人智能分拣煤矸石，还应在适应于井下的煤矸石识别与抓取特征提取、动态目标精确定位和同步跟踪、机械臂在线轨迹规划和多机械臂智能协同控制等方法上进行深入研究。通过对上述3大关键技术的梳理，总结得出：煤矸石数据集构建与扩增、煤矸石识别与抓取特征提取是实现煤矸石高效识别的关键技术；动态煤矸石精准跟踪、机械臂同步跟踪动态目标轨迹规划和快速大质量目标稳定抓取是实现机械臂稳定抓取煤矸石的关键技术；多任务高效分配、防碰撞路径规划和智能协同控制是实现多机械臂高效智能协同分拣的关键技术。针对目前存在的共性问题，提出了解决方案：在识别方面，研究基于多模态深度学习的煤矸
石识别与抓取特征提取方法，实现井下煤矸石快速识别；在轨迹规划方面，研究动态煤矸石精准定位和实时跟踪方法，实现机器人对动态煤矸石的自适应稳定抓取；在协同分拣方面，构建多层多机械臂协同控制模型，实现多机械臂复杂环境下高效智能协同分拣。
关键词：煤矸石分拣；分拣机器人；煤矸石识别；机器人轨迹规划；智能协同分拣；稳定抓取中图分类号：TD67 文献标志码：A
Research progress and key technologies of intelligent coal-gangue sorting robot
ZHANG Ye 1,2, MA Hongwei 1,2, WANG Peng 1,2, CAO Xiangang 1,2, WEI Xiaorong 1,2, ZHOU Wenjian 1,2
(1. College of Mechanical Engineering, Xi'an University of Science and Technology, Xi 'an 710054, China ； 2. Shaanxi
Key Laboratory of Mine Electromechanical Equipment Intelligent Detection and Control, Xi'an 710054, China)
Abstract : The gangue is wrapped by slurry in underground coal mine, which causes difficult coal-gangue recognition and sorting. The underground working space is narrow, so the equipment layout is
difficult, and the diversion of coal-gangue is difficult. Therefore, developing a high-performance, highly reliable intelligent coal-gangue sorting robot is necessary. The paper analyzes the research status of coal-gangue recognition, robot trajectory plan and multi-dynamic-target multi-robot collaborative control technology of intelligent coal-gangue sorting robot. This paper points out that the coal-gangue sorting work environment is complex, and its weight and shape of coal-gangue are irregular and randomly distributed. Therefore, the three key technologies for intelligent coal-gangue sorting robot are recognition and grasping features extraction of coal-gangue in complex environment, stable and reliable grasping of coal-gangue in unstructured environment, and intelligent collaborative sorting of multi-target multi-robot. It is proposed that in order to realize the intelligent sorting of
收稿日期：2022-10-18；修回日期：2022-11-28；责任编辑：王晖，郑海霞。基金项目：国家自然科学基金面上项目（51975468）。
作者简介：张烨（1990−），女，陕西兴平人，工程师，博士研究生，主要从事机器视觉及机器人智能控制方面的研究工作，E -mail ：
xust -zy@xust .edu 。
引用格式：张烨，马宏伟，王鹏，等. 煤矸石智能分拣机器人研究进展与关键技术[J ]. 工矿自动化，2022，48（12）：42-48, 56.
sorting outZHANG Ye, MA Hongwei, WANG Peng, et al . Research progress and key technologies of intelligent coal -gangue sorting robot [J ].Journal of Mine Automation ，2022，48（12）：42-48, 56
.
第 48 卷 第 12 期工 矿 自 动 化
Vol .48 No .122022 年 12 月
Journal of Mine Automation
Dec . 2022
文章编号：1671−251X （2022）12−0042−08
DOI ：10.13272/j.issn.1671-251x.2022100048
coal-gangue by the robot, further research should be carried out. The research includes the methods of coal-gangue recognition and sorting feature extraction suitable for underground, accurate positioning and synchronous tracking of dynamic targets, online trajectory planning of mechanical arms, and intelligent collaborative control of multiple mechanical arms. By soring out the above three key technologies, it can be concluded as follows. The construction and expansion of coal-gangue data set, recognition and grasping features extraction of coal-gangue are the key technologies to achieve ef
ficient coal-gangue recognition. Precise tracking of dynamic coal-gangue, trajectory planning of synchronous tracking dynamic target of mechanical arm and fast and stable grasping of large quality targets are the key technologies to realize stable coal-gangue grasping by mechanical arms. Multi-task efficient allocation, anti-collision path planning and intelligent collaborative control are the key technologies to achieve efficient intelligent collaborative sorting of multiple mechanical arms. According to the common problems at present, this paper puts forward the solutions. In the aspect of recognition, the method of coal-gangue recognition and grasping feature extraction based on multi-mode deep learning is studied to realize fast coal-gangue recognition suitable for the underground. In the aspect of trajectory planning, the precise positioning and real-time tracking methods of dynamic coal-gangue are studied to realize the adaptive and stable grasping of dynamic coal-gangue by the robot. In the aspect of collaborative sorting, a multi-layer multiple mechanical arms collaborative control model is built to achieve efficient intelligent collaborative sorting of multiple mechanical arms in the complex environment.
Key words: coal-gangue sorting; sorting robot; coal-gangue recognition; robot trajectory planning; intelligent collaborative sorting; stable grasp
0 引言
煤炭清洁加工和利用是实现煤炭工业绿发展的重中之重，提高煤炭入选率是实现煤炭增值提效的有效途径。目前一些发达国家的原煤入选率已超过80%，而我国原煤入选率仅为60%。国家能源局、科学技术部印发的《“十四五”能源领域科技创新规划》将煤炭精准智能化洗选加工技术作为重点任务之一，并要求形成煤炭精确分选技术工艺及装备。拣矸是煤炭洗选加工最基本、最重要的方法。传统拣矸工作（矸石粒度为50～300 mm）主要在地面依靠人工完成，存在人员需求多、拣矸效率低、劳动强度大、工作环境恶劣等问题[1]。另外煤矸石的堆放存在占用土地、污染大气、危害水土、潜在灾变等一系列严重问题[2-3]。因此，需要探寻一种新煤矸石分拣方法，以实现“矸石不升井，拣矸不用人”的新理念。所谓“矸石不升井”，即拣矸地点迁移至离井下采煤工作面较近的区域，并构建煤矸石分拣机器人系统，将矸石在井下直接回填至采空区，不仅能够避免环境污染，实现充填开采，而且能够节约巨大的运输费用。所谓“拣矸不用人”，即研发煤矸石智能分拣机器人代替人工完成拣矸工作，不仅能够有效解放生产力，而且能够大大提高拣矸效率和准确性。
随着煤矿智能化的发展，煤矸石分拣已进入一个新的阶段，特别是煤矸石智能分拣机器人概念的提出，为其提供了新的发展思路[4]。煤矸石智能分拣机器人集煤矸石智能识别、动态目标精准定位、多任务最优分配、煤矸石稳准分拣等优势于一体，能够有效实现大粒度煤矸石的高效分选，初步解决了目前依靠人工拣矸效率低、准确性差等问题。目前，煤矸石智能分选机器人已在一些煤矿企业地面选煤厂得到应用。由于井下矸石被煤泥包裹，导致煤矸石识别难、分拣难；井下工作空间狭小，导致设备布局难、煤
矸石分流难。因此，分析煤矸石智能分拣机器人研究进展，提出亟待解决的关键技术和解决方案，对于研发高性能、高可靠的煤矸石智能分拣机器人系统具有十分重要的意义。
1 煤矸石智能分拣机器人研究现状
煤矸石智能分拣机器人主要基于视觉、射线等识别原理，利用机器人机械系统对煤矸石进行分离。分离装置主要有桁架式[5]、并联式[6]、串联式、柔索驱动[7]等（图1），常常以“拨”和“抓”的形式分离煤矸石。许多学者从煤矸石识别、机器人轨迹规划、多动态目标多机器人协同控制等3个方面对煤矸石智能分拣机器人进行了研究。
1.1 煤矸石识别研究现状
煤矸石识别技术包括射线识别法和视觉识别法，其关键是对获取的煤矸石图像进行处理并提取特征，最后实现准确识别。
2022 年第 12 期张烨等： 煤矸石智能分拣机器人研究进展与关键技术• 43 •
在射线识别法方面，研究较多的为基于γ射线[8]和基于X射线的方法。杨慧刚等[9]采用X射线透射技术，实现了煤矸石的分离。徐琦等[10]采用γ射线结合模糊模式识别建立模糊系统，提高了煤矸石分拣的准确率。射线识别法效率高、识别速度快，但射线辐射对人体有害，需要加强防护[11]。
在视觉识别法方面，先提取煤矸石灰度和纹理信息[12]等特征，再计算这些特征信息的灰度均值、灰度共生矩阵最大值、二阶矩、对比度、相关性、熵等参数，同时结合小波变换[13-14]、支持向量机等方法进行阈值计算，实现煤矸识别。以上方法往往提取的图像特征较单一，在实验条件下识别效率高、速度快，但对于复杂的煤矸石分拣环境，其算法的准确率和普适性还有待提高。随着深度学习在图像处理方面的应用日益广泛，基于深度学习的煤矸石识别已成为该领域的研究热点[15]。曹现刚等[16]提出了基于迁移学习的GoogLenet煤矸石视觉图像识别，通过对数据集扩增，采用Inception模型对煤矸石图像数据集进行识别训练，取得了较高的分类准确率。为进一步提高煤矸石识别速率，沈科等[17]对YOLOv5模型中的Neck区域进行适当精简，不仅降低了模型复杂度，还提高了检测实时性。
此外，学者们研究了基于红外图像[18]和多光谱图像[19]的煤矸石高清图像提取方法，在此基础上融合深度学习算法实现煤矸石的准确识别。基于深度学习的煤矸石识别方法的识别效率较传统煤矸石识别方法高[20]，但由于煤矸石分拣环境的特殊性和复杂性，基于深度学习的煤矸石识别方法作为主流识别方法之一，仍需构建高效的煤矸石数据集，在煤矸石识别算法泛化性、实时性和鲁棒性等方面进行深入研究。1.2 机器人轨迹规划
煤矸石智能分拣机器人轨迹规划是提高机器人自主性和智能化的关键问题，是机器人完成复杂环境下煤矸石分拣任务的前提。在非结构环境下机器人如何进行最优轨迹规划是实现煤矸石分拣的难点。赵明辉[21]采用抛物线过渡的插值函数、三次多项式及五次多项式插值函数对机器人的轨迹进行规划，使分拣
机器人的运动轨迹更加平稳。李宁[22]采用比例导引法对机械臂轨迹进行规划，实现了较高精度的抓取。王鹏等[23]采用余弦定理−PID方法实现了大质量、动态煤矸石的同步跟踪。马宏伟等[24]采用“位置−速度−加速度”的三环PID控制，确保机械臂末端到达抓取点时位置、速度与抓取目标同步运动，实现平稳快速抓取。夏晶等[25]在传统人工势场法的基础上引入相对速度势场、相对加速度势场，实现了煤矸石分拣机器人动态避障及对动态目标的实时跟踪。
以上机器人轨迹规划方法对移动对象状态的预测能力较弱，对变轨迹运动目标适应性不强。特别是在带式输送机发生打滑和跑偏时，不能及时对机械臂轨迹进行修正。因此，以视觉伺服技术为基础，结合概率路图法[26]、快速扩展随机树算法[27-28]和强化学习的全局自主规划算法[29]解决复杂环境下机械臂轨迹规划问题。研究建立动态预测模型，根据机械臂运动轨迹在线预测机械手抓取姿态，采用视觉定位方法提高动态目标定位精度，从而实现机器人最优轨迹规划。
1.3 多动态目标多机器人协同控制
协同控制是多机器人系统研究的基础问题，体现了系统的高层组织形式与运行机制[30]。多机器人任务协同能够合理调度机器人队伍，对机器人的工作量饱和、任务冲突、欠缺能力、出现故障等特殊情形进行协同调度。因此，协同策略的好坏很大程度上影响了多机器人系统的作业效率与实际性能。Wang Peng等[31]提出了基于免疫空间的多机械臂系统控制方法，进一步提高了机器系统的分拣效率。曹现刚
等[32]引入协作反馈机制，建立多机械臂协同分拣策略的数学模型，实现多动态目标矸石的准确、高效分拣。在多机器人智能控制方面，黄宛宁等[33]提出的单亲遗传算法，较好地处理了多机器人任务分配时任务竞价拍卖的确定获标者问题。李济泽[34]提出了粒子遗传优化算法，在粒子优化算法中引入了克隆算子和变异算子，实现了多机器人任务的协调分配。姜健等[35]提出了一种基于蚁算法的多机器人协作策略，很好地解决了多机器人系统中
(a) 桁架式分拣机器人(b) 并联式分拣机器人
(c) 并联式分拣机器人(d) 串联式分拣机器人
图 1 煤矸石智能分拣机器人
Fig. 1 Intelligent coal-gangue sorting robot
• 44 •工矿自动化第 48 卷
由于任务分配不当而引起的冲突问题。强化学习、神经网络等智能任务分配理论减少了对先验知识的依赖[36]，得到了快速发展和广泛应用。
上述方法虽然能够实现多机器人协同控制，但是仍然存在单机器人自主性不高、多机器人协同度低等问题，没有实现多机器人高效智能协同分拣。因此，还需在多机器人煤矸石分拣系统智能协同控制方法上进行深入研究。
2 煤矸石智能分拣机器人关键技术
目前，煤矸石分拣工作环境复杂，其质量和形状不规则且呈随机分布，许多关键技术还有待分析、论证。
因此，从复杂环境下煤矸石识别与抓取特征提取、非结构环境下煤矸石稳定可靠抓取、多目标任务多机器人智能协同分拣3个方面分析抓取煤矸石智能分拣机器人关键技术。
2.1 复杂环境下煤矸石识别与抓取特征提取
（1） 煤矸石数据集构建与扩增技术。基于机器学习的煤矸石识别算法往往通过数据扩增获得大量图像数据，并对大量的图像数据进行训练，同时构建高质量的煤矸石图像数据集，为后续实现煤矸石图像的精准识别奠定基础。
（2） 煤矸石识别与抓取特征提取技术。煤矸石识别的准确性是决定分拣机器人高效分拣煤矸石的关键。煤矸石表面特征复杂、形状各异，特别是煤矿井下煤泥包裹严重，对煤矸石识别造成严重影响。因此，在煤矸石识别方面，除了要结合多种检测方法对特征信息进行提取，提高原始信息的准确性外，还需在识别方法上进行深入研究，提高煤矸石识别速度和精度。基于深度学习理论的煤矸石识别技术虽具有较强的特征提取能力和较高的识别效率，但在复杂目标快速识别和抓取特征提取方面还需进行深入研究，以提高算法的鲁棒性和泛化性。
2.2 非结构环境下煤矸石稳定可靠抓取
（1） 动态煤矸石精准跟踪技术。获取煤矸石实时位姿时，因带式输送机打滑而存在定位不准情况，导
致机械手抓取失败，严重时会对机械手造成损坏，分拣机器人整体效率降低。因此，需要研究动态目标精准跟踪方法，在动态环境下对目标进行精准定位和跟踪，确保机械臂在执行轨迹规划任务时输入数据的准确性。
（2） 机械臂同步跟踪动态目标轨迹规划技术。煤矸石在带式输送机上传输时，大质量动态煤矸石和机械手之间难以避免速度差会产生较大抓取冲击，因此，需研究机械臂动态目标同步跟踪轨迹规划技术，确保机械手在执行抓取动作时和目标矸石保持相对静止，从而实现煤矸石目标的稳定可靠抓取。
（3） 快速大质量目标稳定抓取技术。煤矸石具有质量差别大、移动速度快等特点，当机械手以不同速度搬运煤矸石时会产生较大的惯性冲击，直接影响抓取的稳定性和可靠性。因此，需研究抓取质量、抓取冲击力、搬运惯性力等对抓取力的影响机理及准确控制，确保机械手稳定可靠抓取煤矸石。
2.3 多目标任务多机器人智能协同分拣
（1） 多机械臂多任务高效分配技术。针对煤矸石目标处于复杂动态环境、抓取不同质量煤矸石的优先级别等问题，通过多机械臂多任务高效分配技术，在确保任务分配均衡的前提下，以最小的代价高效地完成多机械臂的任务分配。
（2） 多机械臂防碰撞路径规划技术。机械臂在执行已分配的任务时，要考虑任务状态、与其相邻机械
臂之间的位置关系及在进行轨迹规划时机械手与障碍物之间的碰撞问题。因此，研究机械臂抓取动态目标防碰撞路径规划技术，可提高机械臂分拣稳定性和安全性。
（3） 多机械臂智能协同控制技术。通过任务分配和机械臂路径规划方法，构建多机械臂智能协同分拣模型，提高机械臂利用率，最大限度发挥多机械臂系统性能。采用智能学习方法，提高机械臂自主避障、自主协同能力，并根据环境进行自主决策。
3 煤矸石智能分拣机器人关键技术解决方案
针对目前煤矸石智能分拣机器人在实际应用中存在的问题，本文提出了煤矸石识别与抓取特征提取、机械臂动态目标精准跟踪与稳定抓取、多机械臂复杂环境下高效智能协同分拣3个方面的解决方案。
3.1 X射线+双目视觉的煤矸石识别与抓取特征提
取方法
X射线+双目视觉的煤矸石识别与抓取特征提取方法如图2所示。首先，通过煤矸石X射线和机器视觉（双目视觉）图像采集系统，获取带式输送机目标区域的X射线图像和场景深度图像。其次，通过随机裁剪、翻转、明亮度变化、添加噪声等方法对X射线图像和场景深度图像进行预处理，提高图像数据质量，生成对抗网络数据扩增模型，以扩充煤矸石图像数据样本库。再次，构建灰度特征、深度特征和轮
廓特征分类器，以提取煤矸石图像的3类特征，通过融合灰度特征和深度特征构建煤矸石识别分类
2022 年第 12 期张烨等： 煤矸石智能分拣机器人研究进展与关键技术• 45 •
模型，实现煤矸石快速识别；融合深度特征和轮廓特征建立抓取矩形分类模型，实现煤矸石抓取特征的快速生成。最后，建立基于多模态卷积神经网络的
顶层分类器，联合3个特征分类器、2个模态分类模型，得到基于多模态识别与抓取特征模型，实现煤矸石的精确分类与最优抓取立方体提取。
图 2 煤矸石识别与抓取特征提取方法
Fig. 2 Recognition and grasping features extraction of coal-gangue
3.2 机械臂动态目标精准跟踪与稳定抓取方法
机械臂动态目标精准跟踪与稳定抓取主要包括
动态煤矸石的快速匹配、机械臂对动态目标的精准跟踪和机械手的自适应稳定抓取，其流程如图3所示。首先，通过基于视觉伺服多目标在线定位模型获取待抓取煤矸石实时位置，当目标到达机器人工作空间后，采用基于图像特征的模板匹配方法进行快速匹配，完成全局规划与局部视觉之间目标信息传递。其次，建立基于图像视觉伺服动态目标跟踪模型，通过图像雅克比矩阵估计方法和参数优化方法提高视觉伺服跟踪精度和速度，结合运动目标运动状态预测模型对视觉伺服跟踪轨迹进行修正，实现机械臂对目标的快速精准跟踪。再次，建立机器人视觉伺服控制模型，由机械臂动态目标同步跟踪方法得到跟踪抓取轨迹，并结合抓取立方体完成机械手抓取姿态控制。最后，通过自适应抓取机械手模型和机械手变负载工况下的动力学模型，获取不同负载、不同运动状态与抓取力的映射关系，构建基
于模糊神经网络的机械手抓取力动态自适应控制模型，确保机械手对矸石进行稳定可靠抓取和快速搬移。
3.3 多机械臂复杂环境下高效智能协同分拣方法
多机械臂高效智能协同分拣方法包括环境感知
层、环境地图层、路径规划层和智能协同层，如图4所示。
路径规划层
环境感知层
环境地图层
智能协同层
图 4 多机械臂复杂环境下高效智能协同分拣方法Fig. 4 Efficient and intelligent collaborative sorting method of
multi-mechanical arm in complex environment
环境感知层主要完成分拣环境空间信息采集、煤矸石识别和识别结果发送。环境地图层对环境感知层提供的环境信息进行三维栅格图描述，为路径规划层提供机器人和任务的位置、障碍物分布等环境信息。
路径规划层在环境信息的基础上，通过基于视觉伺服的动态目标跟踪轨迹规划和基于A *算法的机械臂自主避障路径规划，实现机械臂动作策略选择。智能协同层包括任务分配和协同控制，根据机械臂状态和目标信息，建立多因素约束下机械臂综合收益函数，实现机械臂分拣最优任务分配；采用
分布式架构，通过基于强化学习的多机械臂协同分拣算法对机械臂动作及收益推理系统进行下一步决策收益优化，实现机械臂自主协同和自主避障。
4 结论
在煤矸石智能分拣机器人研究现状的基础上，
梳理了煤矸石智能分拣机器人的关键技术及其存在问题，提出了煤矸石识别与抓取特征提取、机械臂动态目标精准跟踪与稳定抓取、多机械臂复杂环境下
图 3 机械臂动态目标精准跟踪与稳定抓取方法
Fig. 3 Precise dynamic target tracking and stable grasping method
of mechanical arm
• 46 •工矿自动化第 48 卷
发表评论