Piksel seviyesinde yüzey hata tespiti için InceptionV3 tabanlı zenginleştirilmiş öznitelik entegrasyon ağ mimarisi
Yıl: 2023 Cilt: 38 Sayı: 2 Sayfa Aralığı: 721 - 732 Metin Dili: Türkçe DOI: 10.17341/gazimmfd.1024425 İndeks Tarihi: 13-03-2023
Piksel seviyesinde yüzey hata tespiti için InceptionV3 tabanlı zenginleştirilmiş öznitelik entegrasyon ağ mimarisi
Öz: Bu çalışmada, otomatik yüzey hata tespiti için InceptionV3 tabanlı Zenginleştirilmiş Öznitelik Entegrasyon Ağ (Inc-ZÖEA) mimarisi geliştirilmiştir. Önerilen mimaride, InceptionV3 ağ mimarisinin her seviyesindeki öznitelikleri aynı yükseklik ve genişliğe sahip öznitelikler çıkartılmış ve birleştirilmiştir. Birleştirme sonucunda farklı boyutlara sahip olan 5 öznitelik haritası elde edilmiştir. Bu öznitelik haritalarındaki önemli detayları ortaya çıkartmak için Kanal Bazlı Sıkma ve Uyarlama (KSU) bloğu uygulanmıştır. KSU bloğu, öznitelik haritasındaki kanalları inceleyerek önemli ayrıntıları güçlendirmektedir. Öznitelik Piramit Ağ (ÖPA) modülünde mekânsal detayları içeren düşük seviyeli öznitelik haritalarındaki bilgiler, anlamsal detayları içeren yüksek seviyeli öznitelik haritalarına aktarılmıştır. Daha sonra önerilen mimaride nihai öznitelik haritası için Öznitelik Entegrasyon ve Anlamlandırma (ÖEA) modülü kullanılarak ÖPA modülünün sonunda elde edilen 4 farklı öznitelik haritaları birleştirilmiştir. ÖEA modülünde birleştirilen öznitelik haritası Mekânsal ve Kanal Bazlı Sıkma ve Uyarlama (MKSU) bloğundan geçirilerek hata tespiti için önemli olabilecek mekânsal ve anlamsal bilgiler en iyi şekilde güçlendirilmiştir. Inc-ZÖEA mimarisinin son katmanında evrişim ve sigmoid katmanları kullanılarak hata tespit sonucu elde edilmiştir. Inc-ZÖEA mimarisinin piksel seviyesinde hata tespit başarısını ölçmek için MT, MVTec-Doku ve DAGM veri setleri kullanılmıştır. Deneysel çalışmalarda, MT, MVTec-Doku ve DAGM veri setlerinde sırası ile Inc-ZÖEA mimarisi %77,44 mIoU, %81,2 mIoU ve %79,46 mIoU başarım sonuçları ile literatürde yer alan son teknolojilere göre daha yüksek başarımlar sağlamıştır
Anahtar Kelime: InceptionV3 Based Enriched Feature Integration Network Architecture for Pixel-Level Surface Defect Detection
Öz: In this study, InceptionV3 based Enriched Feature Integration Network (Inc-EFIN) architecture was developed for automatic detection of surface defects. In the proposed architecture, features of all levels of the InceptionV3 network architecture with the same height and width are extracted and combined. As a result of merging, 5 feature maps with different dimensions were obtained. Channel-Based Squeeze and Excitation (CSE) block has been applied to reveal important details in these feature maps. The CSE block strengthens important details by examining the channels in the feature map. In Feature Pyramid Network (FPN) module, information from low-level feature maps containing spatial details were transferred to high-level feature maps containing semantic details. Then, for the final feature map in the proposed architecture, 4 different feature maps obtained at the end of the FPN module were combined using the Feature Integration and Signification (FIS) module. The feature map combined in the FIS module was passed through the Spatial and Channel-based Squeeze and Excitation (SCSE) block, enhancing the spatial and semantic information that may be important for defect detection in the best way. Defect detection results were obtained by using convolution and sigmoid layers in the last layer of the Inc-EFIN architecture. MT, MVTec-Texture, and DAGM datasets were used to calculate the pixel-level defect detection success of the Inc-EFIN architecture. In experimental studies, Inc-EFIN architecture achieved higher performance than the latest technologies in the literature with 77.44% mIoU, 81.2% mIoU and 79.46% mIoU performance results in MT, MVTec-Texture and DAGM datasets, respectively. Keywords: Pixel-Level Surface Defects Detection, Convolutional Neural Network, Squeeze and Excitation Block, Feature Pyramid Networks
Anahtar Kelime: Belge Türü: Makale Makale Türü: Araştırma Makalesi Erişim Türü: Erişime Açık
- Hanbay K., Talu M.F., Özgüven Ö.F., Fabric defect detection systems and methods-A systematic literature review, Optik, 127 (24), 11960– 11973, 2016.
- Dong H., Song K., He Y., Xu J., Yan Y., Meng Q., PGA-Net: Pyramid Feature Fusion and Global Context Attention Network for Automated Surface Defect Detection, IEEE Transactions on Industrial Informatics, 16 (12), 7448–7458, 2020.
- Karimi, M.H., ve Asemani D., Surface defect detection in tiling Industries using digital image processing methods: Analysis and evaluation. ISA Transactions, 53 (3), 834–844, 2014.
- Aghdam S.R., Amid E., Imani M.F., A fast method of steel surface defect detection using decision trees applied to LBP based features, Proceedings of the 2012 7th IEEE Conference on Industrial Electronics and Applications, ICIEA 2012, Chengdu-China, 1447–1452, 18-20 July, 2012.
- Tsanakas J.A., Chrysostomou D., Botsaris P.N., Gasteratos A., Fault diagnosis of photovoltaic modules through image processing and Canny edge detection on field thermographic, Measurements, 34 (6), 351–372, 2013.
- Mak K.L., Peng P., Yiu K.F.C., Fabric defect detection using morphological filters, Image and Vision Computing, 27(10), 1585– 1592, 2009.
- Bai X., Fang Y., Lin W., Wang L., Ju B.F., Saliency-based defect detection in industrial images by using phase spectrum, IEEE Transactions on Industrial Informatics, 10 (4), 2135–2145, 2014.
- Liu G., Zheng X., Fabric defect detection based on information entropy and frequency domain saliency, The Visual Computer, 37 (3), 515–528, 2020.
- Dong X., Taylor C.J., Cootes T.F., A Random Forest-Based Automatic Inspection System for Aerospace Welds in X-Ray Images, IEEE Transactions on Automation Science and Engineering. 18 (4), 2128- 2141, 2020.
- Cao J., Yang G., Yang X., A Pixel-Level Segmentation Convolutional Neural Network Based on Deep Feature Fusion for Surface Defect Detection, IEEE Transactions on Instrumentation and Measurement, 70, 1-12, 2021.
- Firat H., Hanbay D., Classification of Hyperspectral Images Using 3D CNN Based ResNet50, 29th Signal Processing and Communications Applications Conference (SIU), İstanbul-Türkiye, 1-4, 6–9 Haziran, 2021.
- Yi L., Li G., Jiang M., An End-to-End Steel Strip Surface Defects Recognition System Based on Convolutional Neural Networks, steel research international, 88 (2), 2017.
- Jain S., Seth G., Paruthi A., Soni U., Kumar G., Synthetic data augmentation for surface defect detection and classification using deep learning, Journal of Intelligent Manufacturing, 1–14, 2020.
- Long J., Shelhamer E., Darrell T., Fully Convolutional Networks for Semantic Segmentation, IEEE Transactions on Pattern Analysis and Machine Intelligence, 39 (4), 640–651, 2014.
- Ren S., He K., Girshick R., Sun J., Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks, IEEE Transactions on Pattern Analysis and Machine Intelligence, 39 (6), 1137–1149, 2017.
- Liu W., Anguelov D., Erhan D., Szegedy C., Reed S., Fu C.-Y., Berg A.C., SSD: Single Shot MultiBox Detector, European conference on computer vision, 9905, Springer, Cham, 21–37, 2016.
- Redmon J., Divvala S., Girshick R., Farhadi A., You Only Look Once: Unified, Real-Time Object Detection, Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Las Vegas-USA, 779–788, 27-30 June, 2016.
- He Y., Song K., Meng Q., Yan Y., An End-to-End Steel Surface Defect Detection Approach via Fusing Multiple Hierarchical Features, IEEE Transactions on Instrumentation and Measurement, 69 (4), 1493–1504, 2020.
- Yanan S., Hui Z., Li L., Hang Z., Rail Surface Defect Detection Method Based on YOLOv3 Deep Learning Networks, Proceedings 2018 Chinese Automation Congress, Chinese, CAC, 1563–1568, 2018.
- Redmon J., ve Farhadi A., YOLOv3: An Incremental Improvement, arXiv:1804.02767, 2018.
- Yuan H., Chen H., Liu S., Lin J., Luo X., A deep convolutional neural network for detection of rail surface defect, 2019 IEEE Vehicle Power and Propulsion Conference, Hanoi-Vietnam, 14-17 october, 2019.
- Sandler M., Howard A., Zhu M., Zhmoginov A., Chen L.C., MobileNetV2: Inverted Residuals and Linear Bottlenecks, 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake-USA, 4510–4520, 18-23 June, 2018.
- Chaurasia A., Culurciello E., LinkNet: Exploiting encoder representations for efficient semantic segmentation, 2017 IEEE Visual Communications and Image Processing, VCIP 2017, 2018-January, 1– 4, 2018.
- Lin T.Y., Dollár P., Girshick R., He K., Hariharan B., Belongie S., Feature Pyramid Networks for Object Detection, arXiv:1612.03144, 2016.
- Ronneberger O., Fischer P., Brox T., U-Net: Convolutional Networks for Biomedical Image Segmentation, International Conference on Medical image computing and computer-assisted intervention, Springer-Cham, 9351, 234–241, 18 November, 2015.
- Huang Y., Qiu C., Yuan K., Surface defect saliency of magnetic tile, The Visual Computer, 36(1), 85–96, 2020.
- Lu J., Liang B., Lei Q., Li X., Liu J., Liu J., Wang W., SCueU-Net: Efficient Damage Detection Method for Railway Rail, IEEE Access, 8, 125109–125120, 2020.
- Dong X., Taylor C.J., Cootes T.F., Defect Detection and Classification by Training a Generic Convolutional Neural Network Encoder, IEEE Transactions on Signal Processing, 68, 6055–6069, 2020.
- Rudolph M., Wandt B., Rosenhahn B., Same But DifferNet: Semi- Supervised Defect Detection with Normalizing Flows, arXiv:2008.12577, 2020.
- Liu J., Song K., Feng M., Yan Y., Tu Z., Zhu L., Semi-supervised anomaly detection with dual prototypes autoencoder for industrial surface inspection, Optics and Lasers in Engineering, 136, 106324- 106333, 2021.
- Defard T., Setkov A., Loesch A., Audigier R., PaDiM: A Patch Distribution Modeling Framework for Anomaly Detection and Localization, Lecture Notes in Computer Science, 12664 LNCS, 475– 489, 2021.
- Tan D.S., Chen Y.C., Chen T.P.C., Chen W.C., TrustMAE: A Noise- Resilient Defect Classification Framework using Memory-Augmented Auto-Encoders with Trust Regions, arXiv:2012.14629, 2021.
- Wang J., Xu G., Li C., Wang Z., Yan F., Surface Defects Detection Using Non-convex Total Variation Regularized RPCA with Kernelization, IEEE Transactions on Instrumentation and Measurement, 70, 1-13, 2021.
- Fırat H., Asker M.E., Hanbay D., Classification of hyperspectral remote sensing images using different dimension reduction methods with 3D/2D CNN, Remote Sensing Applications: Society and Environment, 25, 100694-10712, 2022
- Cheng X., Yu J., RetinaNet with Difference Channel Attention and Adaptively Spatial Feature Fusion for Steel Surface Defect Detection, IEEE Transactions on Instrumentation and Measurement, 70, 1-11, 2021.
- Firat H., Hanbay D., 4CF-Net: New 3D convolutional neural network for spectral spatial classification of hyperspectral remote sensing images, Journal of the Faculty of Engineering and Architecture of Gazi University, 37 (1), 439–454, 2021.
- Uzen H., Turkoglu M., Hanbay D., Texture defect classification with multiple pooling and filter ensemble based on deep neural network, Expert Systems with Applications, 175, 114838-114849, 2021.
- Fan Z., Li C., Chen Y., Wei J., Loprencipe G., Chen X., Di Mascio P., Automatic crack detection on road pavements using encoder-decoder architecture, Materials, 13 (13), 1–18, 2020.
- Bousabarah K., Ruge M., Brand J.S., Hoevels M., Rueß D., Borggrefe J., Kocher M., Deep convolutional neural networks for automated segmentation of brain metastases trained on clinical data, Radiation Oncology, 15 (1), 1–9. 114838, 2020.
- Wang J., Lv P., Wang H., Shi C., SAR-U-Net: Squeeze-and-excitation block and atrous spatial pyramid pooling based residual U-Net for automatic liver segmentation in Computed Tomography, Computer Methods and Programs in Biomedicine, 208, 106268, 2021.
- Roy A.G., Navab N., Wachinger C., Recalibrating Fully Convolutional Networks With Spatial and Channel “Squeeze and Excitation” Blocks, IEEE Transactions on Medical Imaging, 38 (2), 540–549, 2019.
- Hu J., Shen L., Albanie S., Sun G., Wu E., Squeeze-and-Excitation Networks, IEEE Transactions on Pattern Analysis and Machine Intelligence, 42 (8), 2011–2023, arXiv:1709.01507, 2017.
- Szegedy C., Vanhoucke V., Ioffe S., Shlens J., Wojna Z., Rethinking the Inception Architecture for Computer Vision, 2016 IEEE Conference on Computer Vision and Pattern Recognition, Honolulu-USA, 6230– 6239, 27-30 June, 2016.
- Zhao H., Shi J., Qi X., Wang X., Jia J., Pyramid scene parsing network, arXiv:1612.01105, 2016.
- Bergmann P., Fauser M., Sattlegger D., Steger C., MVTEC ad-A comprehensive real-world dataset for unsupervised anomaly detection 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Long Beach-CA-USA, 9584–9592, 15-20 June, 2019.
- Wieler M., Hahn T., Weakly Supervised Learning for Industrial Optical Inspection, https://hci.iwr.uni-heidelberg.de/content/weakly-supervised- learning-industrial-optical-inspection, Erişim tarihi May 7, 2021.
| APA | ÜZEN H, türkoğlu m, arı a, Hanbay D (2023). Piksel seviyesinde yüzey hata tespiti için InceptionV3 tabanlı zenginleştirilmiş öznitelik entegrasyon ağ mimarisi. , 721 - 732. 10.17341/gazimmfd.1024425 |
| Chicago | ÜZEN Hüseyin,türkoğlu muammer,arı ali,Hanbay Davut Piksel seviyesinde yüzey hata tespiti için InceptionV3 tabanlı zenginleştirilmiş öznitelik entegrasyon ağ mimarisi. (2023): 721 - 732. 10.17341/gazimmfd.1024425 |
| MLA | ÜZEN Hüseyin,türkoğlu muammer,arı ali,Hanbay Davut Piksel seviyesinde yüzey hata tespiti için InceptionV3 tabanlı zenginleştirilmiş öznitelik entegrasyon ağ mimarisi. , 2023, ss.721 - 732. 10.17341/gazimmfd.1024425 |
| AMA | ÜZEN H,türkoğlu m,arı a,Hanbay D Piksel seviyesinde yüzey hata tespiti için InceptionV3 tabanlı zenginleştirilmiş öznitelik entegrasyon ağ mimarisi. . 2023; 721 - 732. 10.17341/gazimmfd.1024425 |
| Vancouver | ÜZEN H,türkoğlu m,arı a,Hanbay D Piksel seviyesinde yüzey hata tespiti için InceptionV3 tabanlı zenginleştirilmiş öznitelik entegrasyon ağ mimarisi. . 2023; 721 - 732. 10.17341/gazimmfd.1024425 |
| IEEE | ÜZEN H,türkoğlu m,arı a,Hanbay D "Piksel seviyesinde yüzey hata tespiti için InceptionV3 tabanlı zenginleştirilmiş öznitelik entegrasyon ağ mimarisi." , ss.721 - 732, 2023. 10.17341/gazimmfd.1024425 |
| ISNAD | ÜZEN, Hüseyin vd. "Piksel seviyesinde yüzey hata tespiti için InceptionV3 tabanlı zenginleştirilmiş öznitelik entegrasyon ağ mimarisi". (2023), 721-732. https://doi.org/10.17341/gazimmfd.1024425 |
| APA | ÜZEN H, türkoğlu m, arı a, Hanbay D (2023). Piksel seviyesinde yüzey hata tespiti için InceptionV3 tabanlı zenginleştirilmiş öznitelik entegrasyon ağ mimarisi. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, 38(2), 721 - 732. 10.17341/gazimmfd.1024425 |
| Chicago | ÜZEN Hüseyin,türkoğlu muammer,arı ali,Hanbay Davut Piksel seviyesinde yüzey hata tespiti için InceptionV3 tabanlı zenginleştirilmiş öznitelik entegrasyon ağ mimarisi. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi 38, no.2 (2023): 721 - 732. 10.17341/gazimmfd.1024425 |
| MLA | ÜZEN Hüseyin,türkoğlu muammer,arı ali,Hanbay Davut Piksel seviyesinde yüzey hata tespiti için InceptionV3 tabanlı zenginleştirilmiş öznitelik entegrasyon ağ mimarisi. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, vol.38, no.2, 2023, ss.721 - 732. 10.17341/gazimmfd.1024425 |
| AMA | ÜZEN H,türkoğlu m,arı a,Hanbay D Piksel seviyesinde yüzey hata tespiti için InceptionV3 tabanlı zenginleştirilmiş öznitelik entegrasyon ağ mimarisi. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi. 2023; 38(2): 721 - 732. 10.17341/gazimmfd.1024425 |
| Vancouver | ÜZEN H,türkoğlu m,arı a,Hanbay D Piksel seviyesinde yüzey hata tespiti için InceptionV3 tabanlı zenginleştirilmiş öznitelik entegrasyon ağ mimarisi. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi. 2023; 38(2): 721 - 732. 10.17341/gazimmfd.1024425 |
| IEEE | ÜZEN H,türkoğlu m,arı a,Hanbay D "Piksel seviyesinde yüzey hata tespiti için InceptionV3 tabanlı zenginleştirilmiş öznitelik entegrasyon ağ mimarisi." Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, 38, ss.721 - 732, 2023. 10.17341/gazimmfd.1024425 |
| ISNAD | ÜZEN, Hüseyin vd. "Piksel seviyesinde yüzey hata tespiti için InceptionV3 tabanlı zenginleştirilmiş öznitelik entegrasyon ağ mimarisi". Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi 38/2 (2023), 721-732. https://doi.org/10.17341/gazimmfd.1024425 |
