Online defect detection of composite material fiber placement based on 2.5D images
-
摘要: 复合材料自动铺丝技术(AFP)广泛应用于飞机壁板、机身段和发动机进气道等复杂构件的制造中，虽然铺丝过程已经高度自动化，但仍缺少与之匹配的在线缺陷检测手段。直接基于铺层表面2D图像的检测方法往往缺陷图像特征不明显，准确率不高。基于3D点云的检测方法标注与计算成本昂贵且实时性不高。为此，提出一种利用2.5D图像信息的缺陷检测方法。首先将线激光传感器与铺丝头固连，跟随铺丝过程实时采集铺层的轮廓信息；然后对每一条轮廓线进行滤波和基线漂移校正等预处理，将轮廓数据映射为2.5D图像；使用目前先进的深度学习目标检测技术，并提出一种新的目标检测后处理算法，用以归并与筛选图像中缺陷。以飞机进气道自动铺丝进行实验验证，本文方法可对间隙、搭接、三角区、翻折和夹杂等多种缺陷进行有效检测，总体误检率为7.3%，总体漏检率为4.1%。检测效率在GPU加速下可达143fps，将模型部署至CPU下为13fps，满足实时在线的检测要求。Abstract: Automatic fiber placement (AFP) technology is extensively applied in the manufacturing of complex components such as aircraft panels, fuselage sections, and engine inlets. Despite the high level of automation in the AFP process, there remains a significant gap in the availability of effective online defect detection methods. Traditional 2D image-based detection techniques often suffer from unclear defect features, leading to low accuracy, while 3D point cloud-based methods are costly in terms of both annotation and computation and often lack real-time processing capabilities. To address these challenges, this paper proposes a novel defect detection method leveraging 2.5D image information. A line laser sensor is rigidly attached to the AFP head to capture real-time contour information during the layup process. The collected contour data undergoes pre-processing steps, including filtering and baseline drift correction, before being transformed into a 2.5D image. Advanced deep learning-based object detection techniques are then employed, alongside a newly developed post-processing algorithm to accurately merge and filter defects within the images. Experimental validation conducted on an automated layup process for aircraft inlet ducts demonstrates the effectiveness of the proposed method in detecting various defects, such as gap, bridge, triangle, fold, and mix. The method achieves an overall false rate of 7.3% and miss rate of 4.1%. The detection efficiency reaches up to 143 frames per second (fps) with GPU acceleration and 13 fps on CPU, satisfying the real-time online detection requirements.
-
Keywords:
- automatic fiber placement /
- defect detection /
- line laser /
- deep learning /
- YOLO
-
碳纤维增强树脂基复合材料(Carbon Fiber Reinforced Plastic，CFRP)因其良好性能被广泛应用于航空航天等领域[1]。随着制造技术与CAD/CAM软件技术的不断发展，自动铺丝技术已经成了主流的复合材料成型方法之一，该技术通过单独控制每根预浸丝的输送与铺放，大大提高了铺放路径的灵活性[2]，可量产飞机进气道这类结构复杂、大曲率的异形回转体复材构件。
由于复合材料的多尺度结构意味着制造过程往往比金属等各向同性材料更为复杂，容易在制造过程中出现各种缺陷[3]，这些缺陷会严重影响飞行器的性能和使用寿命[4]，造成重大安全隐患。实际生产时，通常采用人工在每铺一层后停机目视检查，该方法主观性强且效率较低，据波音公司统计，检查与返修的过程占了生产总时间的63%[5]。
众多学者针对复材铺丝缺陷检测展开了一系列研究，其中部分研究集中于2D检测，采用CCD成像或热红外成像技术，直接获取铺层表面的二维图像，再通过图像处理或机器学习等方法，对图像中缺陷进行识别与分类[6-7]。例如波音公司[8-10]结合传统机器视觉，通过CCD相机拍摄得到铺层表面的图像，再使用启发式算法对缺陷进行识别。在铺放时，为了维持预浸料的粘性，铺丝头上的加热灯会对预浸料进行加热，由于热传导速率不同导致缺陷与正常铺层间会有温度差，通过热成像可以捕捉这种温度差。例如Denkena等[11]利用红外热成像技术监测铺丝过程，再使用图像处理与深度学习对缺陷进行识别。由于CCD与红外线的成像效果不同，康硕等[12]将两种图像融合并使用机器学习对融合后的图像进行检测，提高了检测效果。
直接基于铺层表面2D图像的检测方法中缺陷图像特征受光照角度、复材表面对比度低或加热灯等影响，导致成像质量不稳定，检测效果依赖特定的采集环境，例如间隙与搭接等缺陷被压辊压实后，特征进一步被削减，在2D图像中难以分辨。热红外图像可以克服光照与对比度的干扰，但依然受温度的影响，尤其难以区分复合材料背衬这类热传导损失小、与周围温差小的薄膜异物[13]。此类方法总体准确率不高、工程化应用受限。
为提高检测系统的抗干扰能力，使用激光轮廓仪获取铺层表面3D点云信息是目前常用的数据采集方法[14-17]。例如Flightware公司[18]为NASA开发了一套基于激光轮廓仪的数据采集设备，通过获取投影到铺层表面的激光线，可以自动生成大尺度、高密度且高精度的点云数据，这种方法抗干扰能力较强，不会受到光照或温度的影响，同时可以得到高精度的3D点云数据，用以进一步的检测。
通过激光轮廓仪获取铺层的表面轮廓点云后，有学者尝试直接从3D点云中提取缺陷，2020年Tang等[19]对每一根轮廓线进行了曲面拟合、特征提取与特征聚类，初步对每根轮廓线上的缺陷进行了提取。2022年Tang等[20]继续之前的研究，提出了一种二阶段的检测方法，先利用语义分割神经网络对铺层的点云数据进行检测，求得缺陷位置，再通过聚类算法得到缺陷的类别信息，这种基于点云的神经网络方法可以获取缺陷的详细几何形貌，但需要先对数据逐点标注再输入网络，使得人工成本过高，同时3D点云处理速度较慢且对检测硬件的计算能力要求较高。
3D点云有效保留了铺层精确的几何形状和位置信息，但庞大的数据进一步加大了缺陷检测的难度，有学者将轮廓线的高度映射为灰度，形成包含铺层表面信息的2.5D图像，以提升速度、节省人工标注与硬件计算的成本。Sacco[21-24]在通过轮廓仪获取点云数据后，直接将高度映射到平面，生成2.5D深度图，然后使用全卷积神经网络(FCN)进行检测。Zambal等[25]采用类似的方法，生成深度图后使用U-Net架构的神经网络对缺陷进行分割。Meister等[26]针对铺层灰度图提出一种多尺度的缺陷检测算法，提高了缺陷的识别效率和准确性。受限于直接高度映射生成的图像可识别性较弱、检测算法较落后以及需要在铺放后二次采集使得精度与效率依然较低。
总的来说，现有方法精度较低、抗干扰能力较弱并且无法满足在线实时的检测需求。本文针对复材铺丝缺陷检测问题，提出一种跟随式在线缺陷检测方法，并在实际生产环境中采集大量数据进行实验与测试，最终该方法在较高准确率的前提下，可实现在线实时缺陷检测。
1. 复材铺层数据采集与处理
1.1 缺陷定义
本文对间隙、搭接、三角区、翻折、褶皱与夹杂等六种常见缺陷进行了定义，且介绍了这些缺陷的主要形成原因，具体信息见表1，复材铺层与缺陷图片如图1所示。
表 1 铺丝缺陷定义Table 1. Definition of fiber placement defectsCategory Number Definition Size Causes Gap 1 Gap between two fibers Widest part exceeds 2 mm Laying errors, complex surfaces, or unstable fibers Bridge 2 Overlapping part at the edge of two fibers Widest part exceeds 1.5 mm Laying errors, complex surfaces, or unstable fibers Triangle 3 A triangular void with a regular shape at the cutting edge None During the design process, in order to lay out different shapes, there may be gaps at the fiber cutting edge Fold/Reverse 4 Fibers have flipped over None Tensioner error or laying path too long Wrinkle/Blister 5 irregular deformation on the fiber surface None turning radius too small or fibers not fully adhering to the mandrel Mix 6 Foreign objects in the layer None Resin adhesive accumulates due to friction ,or foreign objects adhering to the layer ![]()
图 1 铺层与缺陷图片：(a)复合材料铺层；(b)间隙缺陷；(c)搭接缺陷；(d)三角区缺陷；(e)褶皱缺陷；(f)翻折缺陷；(g)由预浸丝背衬导致的夹杂缺陷Figure 1. Layer and defects images: (a) Composite material layers; (b) Gap defect; (c) Bridge defect; (d) Triangle defects; (e) Wrinkle defect; (f) Fold defect; (g) Mix defect caused by backing paper of prepreg tape由于翻折与扭转、褶皱与鼓包等缺陷的形状和后续修补工艺类似，所以视为同类。缺丝也是一种常见的缺陷类型，但在实际生产时，缺丝只会由铺丝头故障或原材料短缺导致，此时铺丝头会自动报警且中断生产，故在本文中不做检测。
1.2 数据采集
缺陷信息的采集质量在很大程度上决定了后续检测效果的优劣。如图2(a)所示，2D图像中的缺陷特征往往不明显，抗干扰能力弱，难以工程化应用；相比之下，图2(b)展示了通过激光轮廓仪采集形成的铺层轮廓点云，虽抗干扰能力强，但形成高密度3D点云需要机器人位姿等额外信息，增加了计算成本。因此，本文采用激光轮廓仪，在铺放过程中实时采集铺层的轮廓信息，并经过滤波、基线漂移校正与高度映射等步骤生成2.5D高度映射图，如图2(c)所示，该方法比基于2D图像的缺陷检测方法抗干扰能力更强、缺陷信息更加清晰，同时2.5D高度映射图由轮廓线映射而来，无需处理额外信息且进一步加强了缺陷的深度特征，可有效区分间隙与搭接等缺陷，提升了后续检测的速度与准确率。
![]()
图 2 不同维度下的缺陷：(a) 2D图像；(b) 3D点云；(c) 2.5D高度映射图Figure 2. Defects in different dimensions: (a) 2D image; (b) 3D point cloud; (c) 2.5D height mapping image本文所针对的铺丝设备主要为8丝束自动铺丝机，其中一丝(trace)纤维的宽度为6.35 mm，铺丝机将最多8丝纤维组合为一道(course)进行铺放，一道纤维总铺丝宽度约为50 mm，由多道纤维组成铺层(layer)。
采集场景如图3所示，机械臂带动铺丝头在可旋转的飞机进气道芯模上进行铺丝，同时将线激光传感器安装在铺丝头压辊后方，形成在线跟随式测量，使传感器在铺丝后能实时获得铺层的表面轮廓线。线激光传感器利用激光三角法，可精确获取铺层表面到激光测头的Z轴(高度)变化信息[27]，其中一条激光线上有N个点，将一道纤维中M条线进行组合形成点云，过程如图4所示。
1.3 2.5D高度映射图生成
鉴于直接对点云数据进行缺陷检测的速度较慢且标注的人工成本过高，为实现更快速且低成本的缺陷检测，本文将轮廓信息映射为2.5D图像，同时保留对应的表面特征与高度信息，流程如图5所示，包括滤波、基线漂移校正和高度映射等步骤。
铺丝所用芯模通常不为简单的平面，因此其轮廓线会反映出芯模的外貌趋势。然而，缺陷检测主要关注纤维的表面信息，因此有必要对轮廓线进行校正，以消除芯模与震动等问题的影响。该问题与医学心电信号处理[28]和地质学自然电位处理[29]中的基线漂移校正问题类似。由于铺丝路径设计的特点，通常一条轮廓线内并不会出现较大突变，同时单道纤维宽度最大约为50 mm，在这一尺度范围内的曲面截线相对简单，因此可以用二次曲线表示。本文通过最小二乘法拟合抛物线作为基线，从而实现轮廓线的校正，校正效果如图6所示。
通过基线漂移校正，可以得到每条校正后的轮廓线数据及其对应的基线。如图7所示，本文采用0到255的灰度色阶，并以轮廓的基线作为映射的基准灰度，将高度数据映射为灰度值，再将多条轮廓线的灰度数据拼接就可形成2.5D的高度映射图，如图8所示。如此形成的2.5D复材图像抗干扰能力强且缺陷的可识别性强。
![]()
图 6 基线漂移校正：(a)校正前轮廓线；(b)校正后轮廓线Figure 6. Baseline drift correction: (a) Contour line before correction; (b) Contour line after correction![]()
图 7 高度映射示意图：(a)传感器检测示意图；(b)铺层截面轮廓点示意图；(c)灰度映射示意图Figure 7. Diagram of height mapping: (a) Diagram of sensor detection;(b) Diagram of the layer section profile points; (c) Diagram of grayscale mapping![]()
图 8 高度映射图：(a)~(c)各类缺陷的高度映射图；(d)一道纤维的高度映射图Figure 8. Height mapping images: (a)-(c) Height mapping images of various defects; (d) Height mapping image of a course fibers2. 目标检测神经网络与改进
2.1 神经网络模型选择及应用
由于复材铺丝的缺陷较为特殊，缺陷随着铺丝路径延伸，例如图8中的间隙、搭接与三角区等缺陷，导致缺陷通常具有较大的长宽比且尺寸较不均衡，因此需要检测算法有较好的多尺度融合与抗干扰能力。
目前可通过传统视觉、语义分割与目标检测等方法对缺陷进行识别，其中传统视觉算法例如图像分割、特征提取与匹配等方法抗干扰能力较弱，检测效果不稳定；语义分割例如全卷积神经网络、U-Net[30]与DeepLab [31]等模型可对每个像素进行分类，实现精细分割，但标注成本过高、模型复杂且计算速度较慢，更适用于医学等需要精细处理的特殊应用场景。对于本文的复材铺丝缺陷，采用目标检测算法更为适合，通过实验对比，本文采用YOLOv8系列中网络结构最浅的n模型，该模型使用不同尺寸间特征图融合与自由锚框(anchor free)的检测方法，大大提高了对不同尺寸与不同长宽比目标的检测能力。YOLOv8的网络结构如图9所示，由Backbone、Neck、Head三部分组成。
主干(Backbone)部分：通过重复利用CBS模块与C2f模块，在对特征图进行降采样的同时对图中特征进行提取与强化，并使用SPPF模块对特征图进行并行式的最大池化。其中全新的C2f模块在结构上引入了更多的残差块，通过卷积与残差块的迭代，将特征图的信息进行融合与提取，在不损失速度的情况下保留了更多的空间与语义信息。
颈部(Neck)部分：采用了FPN+PAN[32-33]结构，通过自上到下与自下到上的两层金字塔结构，将不同尺度的特征图进行融合。其中下层由于网络层数更深，包含的语义信息更丰富，而上层较浅的网络结构使得位置信息损失更少，将上中下三层的特征图融合并输出，保证了网络对小中大等多尺寸物体的预测效果，对尺寸分布方差较大的目标具有更好的普适性。
检测头(Head)部分：以往的YOLO模型采用基于锚框(anchor based)的检测策略与耦合的预测方法，需要预先定义好锚框的长宽比尺寸，然后同时预测该锚框的类别与坐标。而YOLOv8则采用自由锚框(anchor free)与解耦的预测方法，无需预先定义锚框尺寸，使用两层卷积分别提取锚框类别和位置特征，对于间隙、搭接与三角区这类具有较大长宽比的目标有更好的检测效果。
2.2 数据集产生方法
由于神经网络依赖于数据的一致性，而铺丝路径长度不同，导致对应的2.5D高度映射图大小不一，难以直接进行有效训练。因此，有必要对每一道纤维的高度映射图进行预处理，以确保数据的一致性并提高模型的训练效果。一条轮廓线上共有N个激光点，因此高度映射图宽度方向像素数量为N，长度方向像素数量M则取决于这道纤维的长度，本文将一道纤维的高度映射图切分为若干张N×N大小的2.5D图，用以进行后续的检测。
图10中描述了一道纤维的高度映射图的完整处理过程，包括切分与扩充、目标检测和后处理等步骤。由于一道纤维的前后数据有关联性，所以将两张前后相邻的灰度图中各取一半进行组合，通过这种相邻图拼接的方法进行数据扩充。缺陷随铺丝方向延伸，有明显的方向性，为保留这类特征，不对数据集做旋转、翻转与缩放等额外扩充操作。
2.3 后处理方法
2.3.1 传统NMS后处理算法
对于目前绝大部分目标检测算法，在推理后都会输出大量的初始目标框，为了得到真正的目标框，通常采用非极大值抑制(Non Maximum Suppression，NMS)作为后处理算法[34]。
非极大值抑制是先将所有检测框按置信度进行排序，如果A检测框与B检测框的交并比(Intersection over Union, IoU)大于阈值[35]，则认为两者为同一目标并去除其中置信度较小的检测框，然后迭代直至所有框检测完成，保留最适合的检测框。
dIoU=|A∩B||A∪B| (1) 其中dIoU为交并比，A和B为不同检测框。
2.3.2 NMM后处理算法
由于传感器随铺丝头运动，以完整的一道纤维为单位进行数据采集，并切分得到若干张局部图像进行检测。如果采用传统NMS算法，较长的缺陷会被分割成多个短缺陷，从而多次被检测，导致误检率和虚警率显著增加。同时，对于特征相似的缺陷，神经网络可能因分类错误而产生误检。因此，为解决以上问题，本文提出一种适用于多张连续图片的目标检测后处理算法：非极大值归并(Non Maximum Merging，NMM)，算法流程如图11所示，主要分为两部分：归并和抑制缺陷。
归并缺陷：将模型输出的所有预测框按类别进行区分，并将单一类别中dIoU大于0的预测框融合为其最小包围矩形。神经网络输出的初始大量检测框可基本覆盖缺陷，同时2.2节的相邻图拼接操作可可进一步扩充缺陷信息，保证归并后的检测框能包含完整缺陷，且由于铺丝缺陷通常为横向发展，因此归并时干扰较少，效果如图12(b)所示。
![]()
图 12 后处理方法对比细节图：(a)传统非极大值抑制 (NMS)后处理方法；(b)新型的NMM后处理方法Figure 12. Comparison details of post-processing methods: (a) Traditional non maximum suppression (NMS) post-processing method; (b) New NMM post-processing method抑制误检缺陷：为进一步剔除因分类错误导致的误检，将剩余所有检测框不分类别进行汇总，如果两个框之间小化交并比大于阈值，则将小的检测框去除，迭代直至得到最后的检测结果：
在抑制误检时，经过上一步归并，导致检测框的面积较大，此时dIoU的并集部分主要由较大检测框的面积决定；同时不同检测框之间面积方差较大，导致dIoU极不稳定，并集波动较大，无法找到一个统一的阈值，如图13(a)所示。
为解决该问题，本文提出了一种新型的小化交并比(Smaller Intersection over Union, SIoU)，以衡量两检测框的交集部分与较小检测框的尺寸关系，如下式：
dSIoU=|A∩B||min (2) 其中dSIoU为小化交并比，A、B为不同检测框。通过去除较大检测框对结果的影响，只关注小的检测框，可以大大提高两个检测框在并集波动较大的情况下的阈值稳定性，从而剔除缺陷，如图13(b)所示。
![]()
图 13 抑制误检细节对比图：(a)传统交并比；(b)改进的小化交并比Figure 13. Comparison details for suppressing false detection: (a) Traditional intersection over union; (b) Improved smaller intersection over union3. 缺陷检测实验
3.1 传感器选型
选用深视智能科技有限公司(SSZN)的SR6071型激光轮廓仪，具体参数见表2，其Z轴(高度)方向参考距离为70 mm，本文实际安装距离约为80 mm；X轴(宽度)轮廓点数为
1600 、检测范围为66 mm，可满足50 mm的最大纤维铺丝宽度；缺陷尺寸定义为2 mm或2.5 mm以上，故本文Y轴(长度)方向以0.1 mm表 2 传感器参数Table 2. Sensor parametersParameter type Value Z-axis reference distance/mm 70 X-axis width/mm 66 X-axis contour point numbers 1600 Interval between
X-axis points/μm50 作为轮廓线间隔进行采样，可确保铺层信息的精确采集。
3.2 数据集的采集及说明
在实际的复材铺丝生产现场中，本文实时采集了447道复材铺放的表面轮廓数据，并生成对应2.5D高度映射图，通过2.2节中的切分与相邻图拼接操作得到
3849 张局部的高度映射图，对其进行标注并进行深度学习训练。传感器X轴轮廓点数N为1600 ，故每张图片尺寸为1600 ×1600 个像素点。原则上不应检出属于之前铺层的缺陷，同时由于多层缺陷的累加或铺放轨迹(上下铺层的整体铺丝方向通常不同)等影响，之前层会对当前层的轮廓造成较大干扰，这些干扰通常随机且难以预见，导致实际检测中随着铺放的层数增加，检测难度也随之增大，因此为了检验模型的抗干扰能力，本文逐层采集并包含最高第16层的纤维铺放信息。
该数据集较好的体现出了真实复材铺丝场景下的缺陷特征，即间隙、搭接和三角区由于形成原因导致其数量众多，而翻折、褶皱和夹杂等缺陷出现频率较低，如图14(a)所示；同时，由于缺陷随着铺放路径延伸，导致通常为细长状，有着较大的长宽比，如图14(b)所示。这些特征对模型的检测结果有着较大的影响。
![]()
图 14 数据集中的缺陷特征：(a)缺陷标签数量；(b)缺陷总体长宽分布(已归一化)Figure 14. Defect characteristics in dataset: (a) Number of defect instances; (b) Defect length and width distribution (normalized)3.3 目标检测神经网络对比实验
3.3.1 神经网络指标
对于神经网络，平均均值精度 (Mean Average Precision, mAP)是最常用的准确率指标，其表示数据集中每个类别缺陷的均值精度 (Average Precision, AP)平均值：
{P_{{\text{mAP}}}} = \frac{1}{C}\sum\nolimits_{i = 1}^C {{P_i}} (3) 其中PmAP为模型的平均均值精度，C为总类别数量(本文为6)，i为缺陷编号， P是单一类别缺陷的均值精度。
由于间隙与搭接缺陷的出现频率高、长宽比大且检测难度大，因此这类缺陷的准确率更加重要，而PmAP弱化了这种重要程度，因此本文将不同缺陷以权重进行划分，称为PwAP (weighted Average Precision，加权均值精度)，用以突出频率更高与长宽比更大的缺陷的准确率。
{P_{{\text{wAP}}}} = \sum\nolimits_{i = 1}^C {({w_i} \times {P_i})} (4) 其中PwAP为模型的加权均值精度，wi为各类缺陷占总缺陷的比例(本文取0.5，0.25，0.1，0.05，0.05，0.05)。本文将综合考量PmAP与PwAP数据，作为模型的选择依据。
3.3.2 目标检测实验
目标检测领域的深度学习算法通常分为双阶段型和单阶段型。双阶段算法先预测目标的位置，然后进行分类；而单阶段算法能够同时预测位置与分类信息，从而大大提高了检测效率。目前，Faster-RCNN[36]是双阶段中最常用的网络模型之一；在单阶段检测中，YOLO系列[37]运用最为广泛，其中YOLOv5与YOLOv8是该系列中使用人数最多、社区最为活跃的模型。在YOLO中根据网络深度与宽度的不同分为n、s、m、l与x等型号，本文对n(Nano)与s(small)模型进行了实验，n型号专为英伟达Jetson Nano等小型计算设备设计，故参数量最小、网络结构最浅；s则稍大于n，适用于需要更高精度但仍然受限于计算资源的应用场景。
本文以单块GPU (NVIDIA GeForce RTX
2080 super)训练。设置批量大小为8、训练轮数为300、置信度阈值为0.5，其中Faster-RCNN的主干网络选用ResNet50，通过自适应距估计优化器(Adam)进行优化，优化器动量(momentum)为0.9，初始学习率为0.05。将数据集以7∶2∶1的比例随机打乱并划分为训练集、验证集与测试集，其中测试集不参与模型的训练与优化过程，仅用来评估模型真实的检测能力，实验结果见表3。表 3 目标检测神经网络实验结果Table 3. Experimental results of target detection neural networkModel Input size P PmAP PwAP GPU detection
speed /fpsGap Bridge Triangle Fold Wrinkle Mix YOLOv8 n 640×640 86.1 82.0 85.8 89.5 82.9 74.6 83.5 84.5 143 1600 ×1600 69.6 67.1 79.1 85.6 77.6 65.8 74.1 70.9 33 s 640×640 83.0 81.3 82.4 84.6 72.2 69.8 78.9 81.4 106 1600 ×1600 68.7 69.2 81.7 89.2 80.2 73.5 77.2 72.0 0.9 YOLOv5 n 640×640 88.9 73.6 77.4 80.3 63.1 64.6 74.6 81.0 129 1600 ×1600 50.6 52.5 69.6 75.7 66.4 41.7 59.4 54.6 28 s 640×640 87.0 74.2 81.9 69.7 71.3 61.8 74.3 80.4 124 1600 ×1600 43.1 53.9 57.1 94.5 85.0 66.7 66.7 53.0 26 Faster-RCNN 640×640 32.7 42.5 82.4 43.7 38.7 70.0 51.7 42.8 14 1600 ×1600 39.4 48.5 79.5 37.4 40.9 42.2 48.0 45.8 1.1 Notes：P are average precision of various defects; PmAP is mean average precision of model; PwAP is weighted average precision of model. 3.3.3 神经网络实验结果分析
从表3可知，YOLO优于Faster-RCNN，YOLOv8优于YOLOv5，小模型优于大模型，小尺寸输入优于大尺寸输入。
YOLO优于Faster-RCNN：由于Faster-RCNN使用单特征图的推理方法，即所有缺陷均在一张特征图中进行识别，不利于目标尺寸不统一的检测情况。而YOLO的FPN+PAN模块实现了多尺度融合，提高了模型在不同层次尺度下的感知能力，因此在测试中所有YOLO模型均取得了更高的PmAP和PwAP。
YOLOv8优于YOLOv5：两种模型中不同的检测头产生了较大影响，其中v8的自由锚框检测策略较与v5的基于锚框策略有更好的普适性。为印证该点，本文使用Kmeans对数据集中缺陷的长宽比进行聚类，作为YOLOv5的锚框初始值，结果如表4所示。经过优化后的YOLOv5大大提高了对间隙、搭接与三角区等较大长宽比目标的识别准确率，其中YOLOv5在640×640输入下取得了比YOLOv8更高的PwAP。但这种处理方法较依赖人为设定的锚框初始值导致泛用性较弱，因此本文将采用YOLOv8。
表 4 优化后YOLOv5的实验结果Table 4. Experimental results of Optimized YOLOv5Model Input size P PmAP PwAP GPU detection
speed /fpsGap Bridge Triangle Fold Wrinkle Mix YOLOv5 n 640×640 93.0 78.9 84.3 85.3 76.6 37.8 76.0 84.6 129 1600 ×1600 52.4 56.8 69.3 68.7 58.4 36.6 57.1 55.5 28 s 640×640 90.0 80.1 86.0 85.0 77.3 68.9 81.2 85.2 124 1600 ×1600 56.5 54.8 71.3 76.5 70.1 40.4 61.6 58.4 26 小尺寸输入优于大尺寸输入：受卷积神经网络感受野影响，神经网络对不同输入尺寸的目标检测效果不同。如图15所示，所有用
1600 ×1600 输入训练得到的YOLO模型PmAP均大于PwAP，而将图片缩小至640×640则PmAP均小于PwAP。由于缺陷长度方向尺寸通常较大，此时较大的图像输入尺寸降低了检测效果，因此较小输入尺寸对应的感受野更适合本文的检测目标。![]()
图 15 YOLO模型实验结果：(a)输入尺寸为640×640；(b)输入尺寸为1600 ×1600 Figure 15. Experimental results of YOLO: (a) Input size is 640×640; (b) Input size is1600 ×1600 小模型优于大模型：对比s与n模型可见，虽然更深的网络可以得到更丰富的语义信息，但是复材铺丝缺陷的外形特征通常较为明显、不会存在遮挡的情况且无颜色信息，因此无需要网络学习更深层的知识，过深的网络反而会带来梯度不稳定，出现退化现象。如图15(a)所示，在640×640的输入下，YOLOv5和YOLOv8中网络结构较浅的n模型检测准确率均超过了s模型。
最终经过实验与测试，将输入图像缩小为640×640并使用YOLOv8 n模型进行检测，对细长型与普通的缺陷检测结果均较好，取得了较高的PmAP和PwAP；并且基本不受之前铺层的影响，抗干扰能力较强；同时推理速度也有着很大的优势，在使用GPU加速的情况下，检测速度达到了143 fps，因此推荐采用YOLOv8 n作为主体模型，进行缺陷检测，单张图片检测效果如图16所示。
![]()
图 16 单张图片实际检测结果((a)、(b)、(c)包含不同缺陷的检测示例：1-间隙，2-搭接，3-三角区，4-翻折，5-褶皱，6-夹杂)Figure 16. Actual detection results of single image ((a), (b), (c) examples of detection containing different defects: 1-gap, 2-bridge, 3-triangle, 4-fold, 5-wrinkle, 6-mix)对于特征相近的缺陷，神经网络会因为分类错误导致误检，如图16(a)中将左上角的夹杂错误分类成了翻折，后处理方法可以一定程度抑制这类因分类错误导致的误检，但需要神经网络的初始输出中关于该缺陷的大部分预测框分类正确，否则后处理方法难以生效。
3.4 综合实验验证
3.4.1 综合缺陷检测指标
在工业质检领域，通常用误检率与漏检率来评估检测方法的精确率和查全率。可通过二分类混淆矩阵可以得出单一缺陷的计算公式，如下式：
{S_{\text{F}}} = \frac{{{N_{{\text{FP}}}}}}{{{N_{{\text{FP}}}} + {N_{{\text{TP}}}}}} (5) {S_{\text{M}}} = \frac{{{N_{{\text{FN}}}}}}{{{N_{{\text{FN}}}} + {N_{{\text{TP}}}}}} (6) 其中SF和SM为单一缺陷类别的误检(False)率和漏检(Miss)率；NFP为假阳性(False Positive)数量，NTP为真阳性(True Positive)数量，NFN为假阴性(False Negative)数量。对于总体误检率与漏检率通过下式计算：
{O_{\text{F}}} = \frac{{\displaystyle\sum\nolimits_{i = 1}^C {{N_{{\text{F}}{{\text{P}}_i}}}} }}{{\displaystyle\sum\nolimits_{i = 1}^C {{N_{{\text{F}}{{\text{P}}_i}}}} + \displaystyle\sum\nolimits_{i = 1}^C {{N_{{\text{T}}{{\text{P}}_i}}}} }} (7) {O_{\text{M}}} = \frac{{\displaystyle\sum\nolimits_{i = 1}^C {{N_{{\text{F}}{{\text{N}}_i}}}} }}{{\displaystyle\sum\nolimits_{i = 1}^C {{N_{{\text{F}}{{\text{N}}_i}}}} + \displaystyle\sum\nolimits_{i = 1}^C {{N_{{\text{T}}{{\text{P}}_i}}}} }} (8) 其中OF和OM为总体缺陷的误检率和漏检率；C为总类别数量(本文为6)，i为缺陷编号。
3.4.2 实验与结果
在3.3节中的神经网络对比实验中，使用的是单张2.5D高度映射图，但在实际工业现场需要综合评估一整道纤维的缺陷检测情况。本文随机抽取50道纤维的高度映射图，通过人工标识的方式形成缺陷类别和位置信息的真实值(Ground Truth)，通过YOLOv8 n模型输出初始检测框，再使用NMS算法和本文提出的NMM算法进行后处理实验对比，不同方法获得的缺陷数量见表5，不同检测结果如图17所示。
表 5 真实的缺陷数量与预测缺陷数量Table 5. Actual defect quantities and predicted defect quantitiesMethods Gap Bridge Triangle Fold Wrinkle Mix Ground Truth 370 176 44 20 16 8 NMM 385 187 38 21 18 8 NMS 1317 429 117 48 33 10 Notes：NMS is non maximum suppression; NMM is non maximum merging. ![]()
图 17 不同结果对比：(a)一带纤维的高度映射图；(b)神经网络初始输出(包含大量检测框)；(c)传统NMS后处理方法；(d) NMM后处理方法结果Figure 17. Comparison of different results: (a) Height mapping image of a course fibers; (b) Output of the neural network (including a large number of detection boxes); (c) Traditional NMS post-processing method; (d) Our NMM post-processing method由表5与图17可见，通过NMS算法得到的缺陷数量通常远大于真实值，对于一个较长的缺陷，NMS通常会对该缺陷保留多个预测框，而无法对其进行归并，因此造成了大量误检与虚警；神经网络会输出较多初始检测框，同时2.2节中的相邻图拼接操作进一步扩充了相关的缺陷信息，因此NMM算法归并后的检测框通常能包含完整缺陷信息，较大程度降低了误检与虚警率。对于同一缺陷，多个NMS检测框虽也能总体覆盖，但当真实框尺寸较大时，单个NMS预测框无法与真实框进行dIoU匹配，导致漏检率上升，而本文NMM算法获得的预测框在归并后尺寸与真实值相近，因此漏检率较低。
针对复材铺丝缺陷检测问题，最终本文检测方法的总体误检率为7.3%，总体漏检率为4.1%，综合实验结果见表6，实际检测效果如图18所示。
表 6 误检率与漏检率Table 6. False rate and Miss rateMethods Parameters Gap Bridge Triangle Fold Wrinkle Mix OF OM NMS SF 77.8% 60.6% 68.4% 62.5% 30.0% 30.0% 72.0% 14.8% SM 20.5% 4.0% 15.9% 9.5% 6.25% 12.5% NMM SF 6.5% 7.0% 10.5% 14.3% 11.1% 12.5% 7.3% 4.1% SM 2.7% 1.1% 22.7% 14.3% 0.0% 12.5% Notes：SF and SM is false and miss rate of single defect; OF and OM is overall fase and miss rate. 由于铺丝路径的设置，多个三角区缺陷偶尔会出现前后相连的现象，在归并时会导致多个三角区归并为同一个，因此NMM算法的三角区漏检率略高，为22.7%。对于间隙、搭接这两种出现频率最高、少有重叠的缺陷有较好的检测效果，其误检率与漏检率均较低。对于翻折、褶皱与夹杂等缺陷，总体表现也较均衡，其中褶皱实现了零漏检。
3.5 运行效率
为匹配实际生产中较不发达的计算设备，本文使用OpenCV4.8.0-DNN模块将YOLOv8 n模型与后处理算法部署至C++环境中，虽然这种方法无法使用GPU进行加速，会使模型推理速度显著降低，但所需的软件环境依赖最少，对硬件的计算能力要求更低，更贴合实际检测设备情况。本文在仅使用CPU的情况下检测速度依然可达13 fps，每张2.5D图像初始大小为
1600 ×1600 ，传感器以0.1 mm的轮廓线间距进行采样，每张图对应的铺丝轨迹长度为160 mm，因此可满足纤维铺放速度为2 m/s的检测需求。4. 结 论
(1) 针对复合材料信息难以采集的问题，本文使用线激光跟随铺丝头在线采集，并通过基线漂移校正与灰度映射等方法形成2.5D图像，对比2D图像与3D点云，该方法抗干扰能力更强，计算成本更低，可形成直观的2.5D图像用以观察铺层表面信息或进一步的缺陷检测。
(2) 针对连续采集的目标检测问题，传统非极大值抑制 (Non Maximum Suppression, NMS)后处理方法会产生大量误检与漏检，本文提出的非极大值归并 (Non Maximum Merging, NMM)后处理算法可有效归并目标，大幅降低虚警率与误检率。
(3) 针对复材铺丝缺陷检测问题，提出一套完整的在线跟随式检测方法，实现自动铺丝过程中多类别、高准确率且高效的缺陷检测。总体误检率为7.3%，总体漏检率为4.1%，在CPU下检测速度为13 fps，可满足2 m/s的纤维铺放速度。
-
![]()
图 1 铺层与缺陷图片：(a)复合材料铺层；(b)间隙缺陷；(c)搭接缺陷；(d)三角区缺陷；(e)褶皱缺陷；(f)翻折缺陷；(g)由预浸丝背衬导致的夹杂缺陷
Figure 1. Layer and defects images: (a) Composite material layers; (b) Gap defect; (c) Bridge defect; (d) Triangle defects; (e) Wrinkle defect; (f) Fold defect; (g) Mix defect caused by backing paper of prepreg tape
![]()
图 2 不同维度下的缺陷：(a) 2D图像；(b) 3D点云；(c) 2.5D高度映射图
Figure 2. Defects in different dimensions: (a) 2D image; (b) 3D point cloud; (c) 2.5D height mapping image
![]()
图 6 基线漂移校正：(a)校正前轮廓线；(b)校正后轮廓线
Figure 6. Baseline drift correction: (a) Contour line before correction; (b) Contour line after correction
![]()
图 7 高度映射示意图：(a)传感器检测示意图；(b)铺层截面轮廓点示意图；(c)灰度映射示意图
Figure 7. Diagram of height mapping: (a) Diagram of sensor detection;(b) Diagram of the layer section profile points; (c) Diagram of grayscale mapping
![]()
图 8 高度映射图：(a)~(c)各类缺陷的高度映射图；(d)一道纤维的高度映射图
Figure 8. Height mapping images: (a)-(c) Height mapping images of various defects; (d) Height mapping image of a course fibers
![]()
图 12 后处理方法对比细节图：(a)传统非极大值抑制 (NMS)后处理方法；(b)新型的NMM后处理方法
Figure 12. Comparison details of post-processing methods: (a) Traditional non maximum suppression (NMS) post-processing method; (b) New NMM post-processing method
![]()
图 13 抑制误检细节对比图：(a)传统交并比；(b)改进的小化交并比
Figure 13. Comparison details for suppressing false detection: (a) Traditional intersection over union; (b) Improved smaller intersection over union
![]()
图 14 数据集中的缺陷特征：(a)缺陷标签数量；(b)缺陷总体长宽分布(已归一化)
Figure 14. Defect characteristics in dataset: (a) Number of defect instances; (b) Defect length and width distribution (normalized)
![]()
图 15 YOLO模型实验结果：(a)输入尺寸为640×640；(b)输入尺寸为
1600 ×1600 Figure 15. Experimental results of YOLO: (a) Input size is 640×640; (b) Input size is
1600 ×1600 ![]()
图 16 单张图片实际检测结果((a)、(b)、(c)包含不同缺陷的检测示例：1-间隙，2-搭接，3-三角区，4-翻折，5-褶皱，6-夹杂)
Figure 16. Actual detection results of single image ((a), (b), (c) examples of detection containing different defects: 1-gap, 2-bridge, 3-triangle, 4-fold, 5-wrinkle, 6-mix)
![]()
图 17 不同结果对比：(a)一带纤维的高度映射图；(b)神经网络初始输出(包含大量检测框)；(c)传统NMS后处理方法；(d) NMM后处理方法结果
Figure 17. Comparison of different results: (a) Height mapping image of a course fibers; (b) Output of the neural network (including a large number of detection boxes); (c) Traditional NMS post-processing method; (d) Our NMM post-processing method
表 1 铺丝缺陷定义
Table 1 Definition of fiber placement defects
Category Number Definition Size Causes Gap 1 Gap between two fibers Widest part exceeds 2 mm Laying errors, complex surfaces, or unstable fibers Bridge 2 Overlapping part at the edge of two fibers Widest part exceeds 1.5 mm Laying errors, complex surfaces, or unstable fibers Triangle 3 A triangular void with a regular shape at the cutting edge None During the design process, in order to lay out different shapes, there may be gaps at the fiber cutting edge Fold/Reverse 4 Fibers have flipped over None Tensioner error or laying path too long Wrinkle/Blister 5 irregular deformation on the fiber surface None turning radius too small or fibers not fully adhering to the mandrel Mix 6 Foreign objects in the layer None Resin adhesive accumulates due to friction ,or foreign objects adhering to the layer 
下载: 导出CSV
表 2 传感器参数
Table 2 Sensor parameters
Parameter type Value Z-axis reference distance/mm 70 X-axis width/mm 66 X-axis contour point numbers 1600 Interval between
X-axis points/μm50
下载: 导出CSV
表 3 目标检测神经网络实验结果
Table 3 Experimental results of target detection neural network
Model Input size P PmAP PwAP GPU detection
speed /fpsGap Bridge Triangle Fold Wrinkle Mix YOLOv8 n 640×640 86.1 82.0 85.8 89.5 82.9 74.6 83.5 84.5 143 1600 ×1600 69.6 67.1 79.1 85.6 77.6 65.8 74.1 70.9 33 s 640×640 83.0 81.3 82.4 84.6 72.2 69.8 78.9 81.4 106 1600 ×1600 68.7 69.2 81.7 89.2 80.2 73.5 77.2 72.0 0.9 YOLOv5 n 640×640 88.9 73.6 77.4 80.3 63.1 64.6 74.6 81.0 129 1600 ×1600 50.6 52.5 69.6 75.7 66.4 41.7 59.4 54.6 28 s 640×640 87.0 74.2 81.9 69.7 71.3 61.8 74.3 80.4 124 1600 ×1600 43.1 53.9 57.1 94.5 85.0 66.7 66.7 53.0 26 Faster-RCNN 640×640 32.7 42.5 82.4 43.7 38.7 70.0 51.7 42.8 14 1600 ×1600 39.4 48.5 79.5 37.4 40.9 42.2 48.0 45.8 1.1 Notes：P are average precision of various defects; PmAP is mean average precision of model; PwAP is weighted average precision of model.
下载: 导出CSV
表 4 优化后YOLOv5的实验结果
Table 4 Experimental results of Optimized YOLOv5
Model Input size P PmAP PwAP GPU detection
speed /fpsGap Bridge Triangle Fold Wrinkle Mix YOLOv5 n 640×640 93.0 78.9 84.3 85.3 76.6 37.8 76.0 84.6 129 1600 ×1600 52.4 56.8 69.3 68.7 58.4 36.6 57.1 55.5 28 s 640×640 90.0 80.1 86.0 85.0 77.3 68.9 81.2 85.2 124 1600 ×1600 56.5 54.8 71.3 76.5 70.1 40.4 61.6 58.4 26
下载: 导出CSV
表 5 真实的缺陷数量与预测缺陷数量
Table 5 Actual defect quantities and predicted defect quantities
Methods Gap Bridge Triangle Fold Wrinkle Mix Ground Truth 370 176 44 20 16 8 NMM 385 187 38 21 18 8 NMS 1317 429 117 48 33 10 Notes：NMS is non maximum suppression; NMM is non maximum merging.
下载: 导出CSV
表 6 误检率与漏检率
Table 6 False rate and Miss rate
Methods Parameters Gap Bridge Triangle Fold Wrinkle Mix OF OM NMS SF 77.8% 60.6% 68.4% 62.5% 30.0% 30.0% 72.0% 14.8% SM 20.5% 4.0% 15.9% 9.5% 6.25% 12.5% NMM SF 6.5% 7.0% 10.5% 14.3% 11.1% 12.5% 7.3% 4.1% SM 2.7% 1.1% 22.7% 14.3% 0.0% 12.5% Notes：SF and SM is false and miss rate of single defect; OF and OM is overall fase and miss rate.
下载: 导出CSV
-
[1] 王显峰, 段少华, 唐珊珊, 等. 复合材料自动铺放技术在航空航天领域的研究进展[J]. 航空制造技术, 2022, 65(16): 64-77. WANG Xianfeng, DUAN Shaohua, TANG Shanshan, et al. Progress of composite automated placement technology in aviation field[J]. Aeronautical Manufacturing Technology, 2022, 65(16): 64-77(in Chinese).
[2] 肖军, 李勇, 李建龙. 自动铺放技术在大型飞机复合材料结构件制造中的应用[J]. 航空制造技术, 2008, (1): 50-53. DOI: 10.3969/j.issn.1671-833X.2008.01.009 Xiao Jun, Li Yong, Li Jianlong. The application of automatic laying technology in the manufacturing of composite structural components for large aircraft[J]. Aeronautical Manufacturing Technology, 2008, (1): 50-53(in Chinese). DOI: 10.3969/j.issn.1671-833X.2008.01.009
[3] 柯映林, 曲巍崴, 李江雄, 等. 碳纤维复合材料结构件自动铺放技术与装备研究进展[J]. 机械工程学报, 2023, 59(20): 401-435. DOI: 10.3901/JME.2023.20.401 Ke Yinglin, Qu Weiwei, Li Jiangxiong, et al. Researches on Automated Placement Technologies and Equipment for Carbon Fiber Reinforced Composites: A State-of-the-art Review[J]. JOURNAL OF MECHANICAL ENGINEERING, 2023, 59(20): 401-435(in Chinese). DOI: 10.3901/JME.2023.20.401
[4] Wang Z, Pei C, Zhang Z, et al. Quantitative test of delamination defects in CFRP with surface interference by laser thermography[J]. Infrared Physics & Technology, 2024, 136: 105046.
[5] Halbritter A, Harper R. Big parts demand big changes to the fiber placement status quo[J]. SME composites manufacturing, 2012, 2012.
[6] Wen L, Li S, Dong Z, et al. Research on Automated Fiber Placement Surface Defect Detection Based on Improved YOLOv7[J]. Applied Sciences, 2024, 14(13): 5657. DOI: 10.3390/app14135657
[7] Schmidt C, Hocke T, Denkena B. Deep learning-based classification of production defects in automated-fiber-placement processes[J]. Production Engineering, 2019, 13: 501-509. DOI: 10.1007/s11740-019-00893-4
[8] Engelbart R W, Hannebaum R. Verification of tow cut for automatic fiber placement: U. S. Patent 7, 807, 002[P]. 2010-10-5.
[9] Engelbart R W, Hannebaum R, Rector E. Mapping tow splices in composite structures: U. S. Patent 8, 753, 458[P]. 2014-6-17.
[10] Oldani T. Visual fiber placement inspection: U. S. Patent 7, 835, 567[P]. 2010-11-16.
[11] Denkena B, Schmidt C, Völtzer K, et al. Thermographic online monitoring system for Automated Fiber Placement processes[J]. Composites Part B: Engineering, 2016, 97: 239-243. DOI: 10.1016/j.compositesb.2016.04.076
[12] 康硕, 柯臻铮, 王璇, 等. 基于红外和可见光图像融合的铺丝缺陷检测方法[J]. 航空学报, 2022, 43(3): 564-576. DOI: 10.7527/j.issn.1000-6893.2022.3.hkxb202203045 Kang Shuo, Ke Zhenzheng, Wang Xuan, et al. Detection method of defects in automatic fiber placement based on fusion of infrared and visible images[J]. Acta Aeronautica et Astronautica Sinica, 2022, 43(3): 564-576(in Chinese). DOI: 10.7527/j.issn.1000-6893.2022.3.hkxb202203045
[13] 马少博, 文立伟, 王若舟, 等. 复合材料自动铺放表面缺陷检测技术研究进展[J]. 复合材料科学与工程, 2020, (12): 121-128. Kang Shuo, Ke Zhenzheng, Wang Xuan, et al. Detection method of defects in automatic fiber placement based on fusion of infrared and visible images[J]. Acta Aeronautica et Astronautica Sinica, 2022, 43 (03): 564-576(in Chinese).
[14] Cemenska J, Rudberg T, Henscheid M. Automated in-process inspection system for AFP machines[J]. Additive Manufacturing of Aerospace Composite Structures: Fabrication and Reliability, 2017, 8(2): 35.
[15] Brasington A, Sacco C, Halbritter J, et al. Automated fiber placement: A review of history, current technologies, and future paths forward[J]. Composites Part C: Open Access, 2021, 6: 100182. DOI: 10.1016/j.jcomc.2021.100182
[16] Meister S, Wermes M A M, Stüve J, et al. Review of image segmentation techniques for layup defect detection in the Automated Fiber Placement process: A comprehensive study to improve AFP inspection[J]. Journal of Intelligent Manufacturing, 2021, 32(8): 2099-2119. DOI: 10.1007/s10845-021-01774-3
[17] Meister S, Möller N, Stüve J, et al. Synthetic image data augmentation for fibre layup inspection processes: Techniques to enhance the data set[J]. Journal of Intelligent Manufacturing, 2021, 32(6): 1767-1789. DOI: 10.1007/s10845-021-01738-7
[18] Maass D. Progress in automated ply inspection of AFP layups[J]. Reinforced Plastics, 2015, 59(5): 242-245. DOI: 10.1016/j.repl.2015.05.002
[19] Tang Y, Wang Q, Wang H, et al. A novel 3D laser scanning defect detection and measurement approach for automated fibre placement[J]. Measurement Science and Technology, 2021, 32(7): 075201. DOI: 10.1088/1361-6501/abda95
[20] Tang Y, Wang Q, Cheng L, et al. An in-process inspection method integrating deep learning and classical algorithm for automated fiber placement[J]. Composite Structures, 2022, 300: 116051. DOI: 10.1016/j.compstruct.2022.116051
[21] Sacco C, Radwan A B, Harik R, et al. Automated Fiber Placement Defects: Automated Inspection and Characterization[C]//SAMPE 2018 Conference and Exhibition. 2018.
[22] Sacco C. Machine learning methods for rapid inspection of automated fiber placement manufactured composite structures[D]. University of South Carolina, 2019.
[23] Sacco C, Radwan A B, Anderson A, et al. Machine learning in composites manufacturing: A case study of Automated Fiber Placement inspection[J]. Composite Structures, 2020, 250: 112514. DOI: 10.1016/j.compstruct.2020.112514
[24] Godbold M J, Sacco C M, Wehbe R, et al. An end-to-end AFP defect inspection and analysis tool[J]. SAMPE 2022, 2022.
[25] Zambal S, Heindl C, Eitzinger C, et al. End-to-end defect detection in automated fiber placement based on artificially generated data[C]//Fourteenth international conference on quality control by artificial vision. SPIE, 2019, 11172: 371-378.
[26] Meister S, Wermes M. Performance evaluation of CNN and R-CNN based line by line analysis algorithms for fibre placement defect classification[J]. Production Engineering, 2023, 17(3): 391-406.
[27] 李津容, 葛广言, 冯晓冰, 等. 在机测量线激光传感器安装位姿的全局标定[J]. 仪器仪表学报, 2022, 43(9): 158-165. Li Jinrong, Ge Guangyan, Feng Xiaobing, et al. Global position calibration of 2D laser profiler for on-machine measurement[J]. Chinese Journal of Scientific Instrument, 2022, 43(9): 158-165(in Chinese).
[28] 蔡坤, 陆尧胜. 基于中值滤波的心电基线校正方法的研究[J]. 医疗设备信息, 2004, (2): 5-7. Cai Kun, Lu Yaosheng. Study on a method of removal ECG baseline drift based on median filtering[J]. China Medical Devices, 2004, (2): 5-7(in Chinese).
[29] 杨怀杰, 乔宝强, 黄笑, 等. 基于小波Mallat算法的自然电位曲线基线漂移校正方法研究[J]. 铀矿地质, 2024, 40(2): 294-300. DOI: 10.3969/j.issn.1000-0658.2024.40.025 Yang Huaijie, Qiao Baoqiang, Huang Xiao, et al. Study on the Correction Method for Baseline Drift of Spontaneous Potential Curve Based on Mallet Wavelet Algorithm[J]. Uranium Geology, 2024, 40(2): 294-300(in Chinese). DOI: 10.3969/j.issn.1000-0658.2024.40.025
[30] Ronneberger O, Fischer P, Brox T. U-net: Convolutional networks for biomedical image segmentation[C]//Medical image computing and computer-assisted intervention–MICCAI 2015: 18th international conference, Munich, Germany, October 5-9, 2015, proceedings, part III 18. Springer International Publishing, 2015: 234-241.
[31] Chen L C, Papandreou G, Kokkinos I, et al. Semantic image segmentation with deep convolutional nets and fully connected crfs[J]. arxiv preprint arxiv: 1412.7062, 2014.
[32] Lin T Y, Dollár P, Girshick R, et al. Feature pyramid networks for object detection[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 2117-2125.
[33] Liu S, Qi L, Qin H, et al. Path aggregation network for instance segmentation[C]// Proceedings of the IEEE conference on computer vision and pattern recognition. 2018: 8759-8768.
[34] Bodla N, Singh B, Chellappa R, et al. Soft-NMS--improving object detection with one line of code[C]//Proceedings of the IEEE international conference on computer vision. 2017: 5561-5569.
[35] Zhang Y F, Ren W, Zhang Z, et al. Focal and efficient IOU loss for accurate bounding box regression[J]. Neurocomputing, 2022, 506: 146-157. DOI: 10.1016/j.neucom.2022.07.042
[36] Ren S, He K, Girshick R, et al. Faster r-cnn: Towards real-time object detection with region proposal networks[J]. Advances in neural information processing systems, 2015, 28.
[37] Redmon J, Divvala S, Girshick R, et al. You only look once: Unified, real-time object detection[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 779-788.
-
目的
碳纤维增强树脂基复合材料广泛运用于航空航天等领域，且随着制造技术不断发展，自动铺丝技术(AFP)已经成了主流的成型方法之一，虽然铺丝过程已经高度自动化，但仍缺少与之匹配的在线缺陷检测手段。直接基于铺层表面2D图像的检测方法因缺陷图像特征不明显，准确率不高；基于3D点云的检测方法标注与计算成本昂贵且实时性不高。为此，本文提出一种利用2.5D图像信息的缺陷检测方法。
方法首先将线激光传感器与铺丝头固连，跟随铺丝过程实时采集铺层的轮廓信息；然后对每一条轮廓线进行滤波和基线漂移校正等处理，将轮廓数据映射为2.5D高度映射图，使得铺丝缺陷也随之映射为目标图像特征；接着引入目前先进的深度学习目标检测技术，并提出一种新的目标检测后处理算法，用以归并与筛选图像中缺陷；最后为使方法可用以实际推理，将模型与后处理算法部署至CPU环境中。
结果使用线激光实时采集，并通过基线漂移校正与灰度映射等处理方法，可得到包含复材铺层深度与表面特征信息的2.5D高度映射图，该图像可识别性与抗干扰能力较强，可有效识别并区分缺陷。本文在实际复材铺丝生产场景中采集了3849张的局部2.5D图，通过实验对比YOLOv8、YOLOv5与Faster-RCNN等神经网络的检测能力，及其不同参数下的表现情况，其中由于YOLO的FPN+PAN模块实现了多尺度融合使得其感知能力更强，对不同尺度缺陷有更均衡的检测能力；YOLOv8的自由锚框检测策略较v5的基于锚框策略有更好的普适性；复材铺丝缺陷如间隙、搭接普遍长宽比较大，使得神经网络感受野对较小尺寸输入的图像有更好的匹配效果；由于复材铺丝缺陷的外形特征通常较为明显、不会存在遮挡的情况且无颜色信息，此时过深的网络可能会带来梯度不稳定，出现退化现象，因此小模型优于大模型。使用YOLOv8n作为主体模型并将输入图像缩小为640×640，取得了最高的mAP(mean Average Precision，平均均值精度)，按缺陷数量进行加权得到的wAP(weighted Average Precision，加权均值精度)也最高，分别为83.5与84.5。在实际生产中需要评估一整道纤维的检测结果，此时传统NMS(Non Maximum Suppression，非极大值抑制)后处理算法在实际匹配中会导致大量虚警与漏检，因此本文提出了新的NMM(Non Maximum Merging，非极大值归并)后处理方法，随机抽取50道纤维的完整2.5D高度映射图进行实验，其中NMS总体误检率为72.0%，总体漏检率为14.8%；而NMM显著提高了检测性能，总体误检率为7.3%，总体漏检率为4.1%。使用OpenCV4.8.0-DNN模块将算法部署在CPU环境中检测速度可达13fps，对应2m/s的纤维铺放速度，可满足实时检测。
结论通过基线漂移校正与灰度映射的2.5D高度映射图可识别性较强，可用于监测复材铺层铺放情况。使用YOLOv8n作为主体模型，可对多类缺陷进行有效检测。NMM算法可有效归并与抑制误检缺陷，降低漏检与误检率。将模型部署在CPU下，可在实际生产环境中的计算设备下有效使用，满足实时、在线且高准确率的复材铺丝缺陷检测需求。
-
复合材料及其铺丝技术广泛应用于复杂且具高性能要求的制造场景中，但目前仍无与之匹配的缺陷检测手段。为解决2D图像检测方法抗干扰能力弱、难以工程化应用，3D点云数据量大、计算成本高等问题，本文提出一种基于2.5D图像的复材铺丝在线缺陷检测方法。
首先将线激光传感器与铺丝头固连，在铺放过程中实时采集铺层的轮廓数据，并通过基线漂移校正与高度映射等步骤生成抗干扰能力强且辨识性高的2.5D图像；然后通过目前深度学习领域较先进的单阶段目标检测算法获得缺陷初始检测信息；最后针对连续性采集的目标检测问题，提出一种新型的后处理算法用以对一整道纤维的缺陷检测信息进行归并与筛选。
本文在实际的复材铺丝生产场景中采集了大量数据进行实验，总体误检率为7.3%，总体漏检率为4.1%。检测效率在GPU加速下可达143fps，为匹配实际生产场景中较不发达的计算设备，将算法部署至CPU下依然可达13fps，对应2m/s的实际纤维铺放速度，可满足实时、在线且高准确率的检测要求。
总体方案
实际检测效果
计量
- 文章访问数: 147
- HTML全文浏览量: 67
- PDF下载量: 22
