C#+YOLOv11工业视觉落地全流程：刹车盘缺陷检测从模型训练到产线无缝集成

一、引言做过工业视觉的朋友都懂传统机器视觉的痛一个简单的表面缺陷检测需要光学工程师调半个月的光源和相机参数换个型号的零件又要重新调一遍稍微有点光照变化或者油污误检率直接飙升到20%以上客户要求加个新的缺陷类型又要花几周时间重新设计算法。上个月我在天津武清区的汽车刹车盘厂就遇到了这个问题。他们原来用的是某品牌的传统视觉检测设备误检率15%漏检率8%每天要人工复检几百个零件效率极低。客户预算只有8万要求检测刹车盘表面的划痕、气孔、砂眼、裂纹4种缺陷最小缺陷0.1mm产线节拍30件/分钟单帧推理时间不超过20ms不合格品自动剔除准确率98%以上实现全流程数据追溯每个产品绑定唯一二维码预留MES对接接口我当时就决定用YOLOv11C#的方案。传统机器视觉能做的YOLO都能做而且效果更好、开发更快、成本更低。最终这个项目只用了3周就完成了准确率达到98.5%误检率2%漏检率0.5%完全满足客户的要求。本文将完整分享从模型训练到产线落地的全流程所有代码都经过生产验证可以直接复用。二、整体系统架构我设计了一个四层架构完全解耦任何一个模块出问题都不会影响其他模块非常适合工业场景。数据管理层设备控制层边缘推理层模型训练层工业数据集标注YOLOv11模型训练模型优化与量化导出ONNX格式C#上位机ONNX Runtime推理引擎缺陷检测结果海康工业相机西门子S7-1200 PLC气动剔除机构扫码枪SQL Server 2022生产报表缺陷数据追溯2.1 为什么选这个技术栈YOLOv11最新的目标检测模型速度快、精度高对小目标检测效果好非常适合工业缺陷检测C#开发速度快WPF做界面美观、响应快和工业设备对接方便Windows系统兼容性最好ONNX Runtime跨平台推理引擎支持CPU和GPU加速性能比OpenCV DNN好很多海康工业相机性价比高SDK完善C#支持最好西门子S7-1200工业界最常用的PLCS7.NET库成熟稳定对接简单三、YOLO模型工业级优化与训练3.1 工业数据集准备与增强工业缺陷检测最大的问题就是样本少。这个项目我只收集了800张有缺陷的样本其中划痕300张气孔200张砂眼200张裂纹100张。我用了之前分享的工业专属数据增强方法把数据集扩充到了8000张油污模拟概率0.3光照不均模拟概率0.3运动模糊模拟概率0.2工业版Mosaic概率0.5同时我用了迁移学习基于YOLOv11n的COCO预训练权重进行训练大大减少了对样本量的需求。3.2 小目标检测优化刹车盘上的很多缺陷只有几个像素大小原版YOLOv11的检测效果不好。我做了两个关键优化将输入尺寸从640x640提升到1280x1280保留更多的细节信息用之前分享的注意力引导CARAFE上采样替换原版的最近邻上采样提升小目标特征恢复能力3.3 模型训练与导出训练参数设置批次大小8训练轮数100学习率0.01优化器AdamW训练完成后导出为ONNX格式注意要开启simplify和opset17fromultralyticsimportYOLO modelYOLO(best.pt)model.export(formatonnx,imgsz1280,simplifyTrue,opset17)四、C#端ONNX Runtime高性能部署这是整个系统的核心。很多人以为YOLO只能用Python部署其实C#部署不仅简单而且性能更好完全满足工业实时性要求。4.1 环境准备安装NuGet包Install-Package Microsoft.ML.OnnxRuntime.Gpu Install-Package OpenCvSharp4.runtime.win Install-Package System.Drawing.Common4.2 完整推理代码usingMicrosoft.ML.OnnxRuntime;usingMicrosoft.ML.OnnxRuntime.Tensors;usingOpenCvSharp;usingSystem.Drawing;publicclassYoloDetector{privatereadonlyInferenceSession_session;privatereadonlystring[]_classNames{scratch,hole,sand,crack};privatereadonlyfloat_confThreshold0.5f;privatereadonlyfloat_nmsThreshold0.4f;publicYoloDetector(stringmodelPath){varoptionsnewSessionOptions();options.AppendExecutionProvider_CUDA(0);// 启用GPU加速options.IntraOpNumThreads4;_sessionnewInferenceSession(modelPath,options);}publicListDetectionResultDetect(Matimage){// 图像预处理varresizednewMat();Cv2.Resize(image,resized,newSize(1280,1280));varinputresized.ConvertToMat().ToTensor();// 运行推理varinputsnewListNamedOnnxValue{NamedOnnxValue.CreateFromTensor(images,input)};usingvaroutputs_session.Run(inputs);varoutputoutputs.First().AsTensorfloat();// 后处理varresultsnewListDetectionResult();for(inti0;ioutput.Dimensions[1];i){varconfidenceoutput[0,i,4];if(confidence_confThreshold)continue;varclassIdEnumerable.Range(5,4).Select(j(index:j,score:output[0,i,j])).OrderByDescending(xx.score).First().index-5;varxoutput[0,i,0];varyoutput[0,i,1];varwoutput[0,i,2];varhoutput[0,i,3];varx1(x-w/2)*image.Cols/1280;vary1(y-h/2)*image.Rows/1280;varx2(xw/2)*image.Cols/1280;vary2(yh/2)*image.Rows/1280;results.Add(newDetectionResult{ClassIdclassId,ClassName_classNames[classId],Confidenceconfidence,X1(int)x1,Y1(int)y1,X2(int)x2,Y2(int)y2});}// NMS非极大值抑制returnNMS(results,_nmsThreshold);}privateListDetectionResultNMS(ListDetectionResultresults,floatthreshold){returnresults.GroupBy(rr.ClassId).SelectMany(g{varsortedg.OrderByDescending(rr.Confidence).ToList();varkeepnewListDetectionResult();while(sorted.Count0){varfirstsorted[0];keep.Add(first);sorted.RemoveAt(0);sorted.RemoveAll(rIoU(first,r)threshold);}returnkeep;}).ToList();}privatefloatIoU(DetectionResulta,DetectionResultb){varareaA(a.X2-a.X1)*(a.Y2-a.Y1);varareaB(b.X2-b.X1)*(b.Y2-b.Y1);varx1Math.Max(a.X1,b.X1);vary1Math.Max(a.Y1,b.Y1);varx2Math.Min(a.X2,b.X2);vary2Math.Min(a.Y2,b.Y2);varintersectionMath.Max(0,x2-x1)*Math.Max(0,y2-y1);returnintersection/(areaAareaB-intersection);}}publicclassDetectionResult{publicintClassId{get;set;}publicstringClassName{get;set;}publicfloatConfidence{get;set;}publicintX1{get;set;}publicintY1{get;set;}publicintX2{get;set;}publicintY2{get;set;}}这个代码在RTX 3050显卡上的推理速度是12ms/帧完全满足30件/分钟的节拍要求。五、上位机核心功能实现5.1 海康工业相机硬触发采集工业场景一定要用硬触发不要用软触发。软触发的延迟不稳定会导致拍照位置不准。usingMvCamCtrl.NET;publicclassHikCamera{privateMyCamera_camera;privateIntPtr_hCameraIntPtr.Zero;publicboolConnect(stringip){MyCamera.MV_CC_DEVICE_INFO_LISTdeviceListnewMyCamera.MV_CC_DEVICE_INFO_LIST();MyCamera.MV_CC_EnumDevices_NET(MyCamera.MV_GIGE_DEVICE|MyCamera.MV_USB_DEVICE,refdeviceList);for(inti0;ideviceList.nDeviceNum;i){vardeviceInfo(MyCamera.MV_CC_DEVICE_INFO)Marshal.PtrToStructure(deviceList.pDeviceInfo[i],typeof(MyCamera.MV_CC_DEVICE_INFO));if(Encoding.ASCII.GetString(deviceInfo.SpecialInfo.stGigEInfo.chCurrentIp).Trim(\0)ip){_cameranewMyCamera();_camera.MV_CC_CreateDevice_NET(ref_hCamera,refdeviceInfo);_camera.MV_CC_OpenDevice_NET(_hCamera);// 设置硬触发模式_camera.MV_CC_SetEnumValue_NET(TriggerMode,1);_camera.MV_CC_SetEnumValue_NET(TriggerSource,7);// 线触发// 注册图像回调_camera.MV_CC_RegisterImageCallBackEx_NET(_hCamera,ImageCallback,IntPtr.Zero);_camera.MV_CC_StartGrabbing_NET(_hCamera);returntrue;}}returnfalse;}privatevoidImageCallback(IntPtrpData,refMyCamera.MV_FRAME_OUT_INFO_EXframeInfo,IntPtrpUser){// 转换为OpenCV MatvarimagenewMat(frameInfo.nHeight,frameInfo.nWidth,MatType.CV_8UC3,pData);// 触发检测OnImageCaptured?.Invoke(image);}publiceventActionMatOnImageCaptured;}5.2 PLC通信与自动剔除用S7.NET库对接西门子S7-1200 PLC当检测到不合格品时发送信号给PLC控制气动剔除机构。usingS7.Net;publicclassPlcClient{privatePlc_plc;publicboolConnect(stringip){_plcnewPlc(CpuType.S71200,ip,0,1);_plc.Open();return_plc.IsConnected;}publicvoidRejectProduct(){// 写入DB1.DBX0.0触发剔除_plc.Write(DB1.DBX0.0,true);Thread.Sleep(100);_plc.Write(DB1.DBX0.0,false);}}5.3 数据追溯系统每个产品进入检测工位时扫码枪扫描产品上的二维码上位机将二维码、检测结果、缺陷图像和时间戳存入SQL Server实现全流程追溯。六、产线落地关键问题解决6.1 实时性保证启用GPU加速推理速度从CPU的80ms/帧降到12ms/帧用异步回调方式采集图像和处理结果不阻塞UI线程优化图像预处理和后处理代码减少不必要的计算6.2 光照鲁棒性安装环形光源和条形光源多角度补光减少阴影相机开启自动曝光和自动白平衡适应光照变化训练数据中加入不同光照条件的样本提升模型泛化能力6.3 误检和漏检处理设置动态置信度阈值不同缺陷类型用不同的阈值增加二次复检机制对置信度在0.3-0.5之间的样本进行二次检测定期收集误检和漏检的样本加入训练集重新训练模型6.4 产线同步控制用光电传感器触发相机拍照确保每个产品都在相同位置拍照用编码器计算产品的运行速度动态调整剔除机构的触发时间PLC和上位机之间用心跳信号通信确保通信正常七、项目成果这个项目总成本不到7万海康工业相机镜头光源15000工控机i5-12400RTX30508000气动剔除机构5000电气元件3000开发费用38000上线后运行了1个月效果非常显著检测准确率98.5%误检率2%漏检率0.5%单帧推理时间12ms产线节拍稳定30件/分钟实现了100%的产品全流程追溯每天节省了2个复检工人的人工成本客户非常满意已经决定把另外2条产线也改成这个方案。八、实战踩坑总结一定要用硬触发软触发的延迟不稳定会导致拍照位置不准影响检测精度GPU是必须的CPU推理速度太慢根本满足不了工业产线的节拍要求数据比模型重要多收集现场的真实样本比换更复杂的模型效果好得多异常处理一定要完善工业现场环境复杂相机离线、PLC通信失败、推理超时这些情况都要考虑到不要追求100%的准确率工业场景允许少量的误检只要漏检率为0就可以接受