Hiperspektral görüntüler kullanılarak 3B ESA tabanlı derin öğrenme mimarilerinin karşılaştırılması

Hüseyin FIRAT, (Dicle Üniversitesi, Teknik Bilimler Meslek Yüksekokulu, Bilgisayar Teknolojileri Bölümü, Diyarbakır, Türkiye)
Davut HANBAY (İnönü Üniversitesi, Mühendislik Fakültesi, Bilgisayar Mühendisliği Bölümü, Malatya, Türkiye)
Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi
7 2
Yıl: 2023 Cilt: 38 Sayı: 1 Sayfa Aralığı: 521 - 534 Metin Dili: Türkçe DOI: 10.17341/gazimmfd.977688 İndeks Tarihi: 23-03-2023

Hiperspektral görüntüler kullanılarak 3B ESA tabanlı derin öğrenme mimarilerinin karşılaştırılması

Öz:
Hiperspektral görüntüler (HG), iki uzamsal ve bir spektral boyuta sahip 3 boyutlu (3B) görüntü küpleridir. Derin öğrenme yöntemlerinin gelişimi, HG sınıflandırmada önemli bir etki oluşturmuştur. Özellikle evrişimsel sinir ağı (ESA) tabanlı yöntemler bu alanda daha fazla ilgi görmektedir. Bu çalışmada, HG sınıflandırma problemi için ESA’nın başarılı örnekleri arasında olan LeNet5, AlexNet, VGG16, GoogleNet ve ResNet50 derin öğrenme mimarilerinden yararlanıyoruz. Bu mimarileri kullanırken 3B ESA tabanlı hibrit bir yaklaşım kullanmaktayız. Çünkü, 3B ESA kullanılarak, spektral-uzamsal özellikler eş zamanlı olarak çıkarılmaktadır. Bu durumda elde edilen spektral-uzamsal tabanlı derin öğrenme mimarisi ile HG’lerin sınıflandırma doğruluğu arttırılmaktadır. Bununla birlikte, önerilen modelde, HG'lerden optimal bant çıkarımı için bir ön işleme tekniği olarak temel bileşen analizi (TBA) kullanılmaktadır. TBA uygulandıktan sonra komşuluk çıkarımı ile 3B küpler elde edilmekte ve derin öğrenme mimarilerinin girişine verilmektedir. 3B ESA tabanlı derin öğrenme mimarilerinin sınıflandırma performanslarını karşılaştırmak için Indian pines, Salinas, Botswana ve HyRANK-Loukia verisetleri kullanılmıştır. Gerçekleştirilen uygulamalar sonucunda, en iyi sınıflandırma doğruluğu Indian pines verisetinde VGG16, Botswana verisetinde ResNet50, HyRANK- Loukia verisetinde VGG16, Salinas verisetinde LeNet5 ve VGG16 mimarileri ile elde edilmiştir.
Anahtar Kelime: Hiperspektral görüntü sınıflandırma derin öğrenme 3B evrişimli sinir ağı temel bileşen analizi

Comparison of 3D CNN based deep learning architectures using hyperspectral images

Öz:
Hyperspectral images (HSI) are 3-dimensional (3D) image cubes with two spatial and one spectral dimensions. The development of deep learning methods has had a significant impact on HSI classification. Especially convolutional neural network (CNN) based methods are getting more attention in this field. In this study, we make use of the deep learning architectures LeNet5, AlexNet, VGG16, GoogleNet and ResNet50, which are among the successful examples of CNN for the HSI classification problem. We use a 3D CNN-based hybrid approach when using these architectures. Because, using 3D CNN, spectral-spatial features are extracted simultaneously. In this case, the classification accuracy of HSIs is increased with the spectral-spatial-based deep learning architecture. However, in the proposed model, principal component analysis (PCA) is used as a preprocessing technique for optimal band extraction from HSIs. After applying PCA, 3D cubes are obtained by neighborhood extraction and given to the input of deep learning architectures. Indian pines, Salinas, Botswana and HyRANK-Loukia datasets were used to compare the classification performances of 3D CNN-based deep learning architectures. As a result of the applications, the best classification accuracy was obtained with VGG16 architectures in Indian pines dataset, ResNet50 in Botswana dataset, VGG16 in HyRANK-Loukia dataset, LeNet5 and VGG16 architectures in Salinas dataset.
Anahtar Kelime: Hyperspectral image classification deep learning 3D convolutional neural network principal component analysis

Belge Türü: Makale Makale Türü: Araştırma Makalesi Erişim Türü: Erişime Açık
  • Meng Z., Li L., Tang X., Feng Z., Jiao L. ve Liang M., Multipath residual network for spectral-spatial hyperspectral image classification, Remote Sensing, 11 (16), 1–19, 2019.
  • Jia J., Wang Y., Chen J., Guo R., Shu R. ve Wang J., Status and application of advanced airborne hyperspectral imaging technology: A review, Infrared Physics and Technology, 104, 103115, 2020.
  • Mohan A. ve Meenakshi Sundaram V., V3O2: hybrid deep learning model for hyperspectral image classification using vanilla-3D and octave-2D convolution, Journal of Real-Time Image Processing, 18, 1681-1695, 2021.
  • Gowtham B., Kumar I.A., Reddy T.S., Harikiran J. ve Chandana B.S., Hyperspectral Image Analysis using Principal Component Analysis and Siamese Network, Turkish Journal of Computer and Mathematics Education, 12 (7), 1191–1198, 2021.
  • Mohan ve Venkatesan M., HybridCNN based hyperspectral image classification using multiscale spatiospectral features, Infrared Physics and Technology, 108, 103326, 2020.
  • Ham J. S., Chen Y., Crawford M.M. ve Ghosh J., Investigation of the random forest framework for classification of hyperspectral data, IEEE Transactions on Geoscience and Remote Sensing, 43 (3), 492–501, 2005.
  • Melgani F. ve Bruzzone L., Classification of Hyperspectral Remote Sensing Images With Support Vector Machines, IEEE Transactions on Geoscience and Remote Sensing, 42, 1778–1790, 2004.
  • Li J., Bioucas-Dias J.M. ve Plaza A., Semisupervised hyperspectral image segmentation using multinomial logistic regression with active learning, IEEE Transactions on Geoscience and Remote Sensing, 48 (11), 4085–4098, 2010.
  • Palmason J.A., Benediktsson J.A. ve Sveinsson J.R., Classification of hyperspectral data from urban areas based on extended morphological profiles, IEEE Transactions on Geoscience and Remote Sensing, 43 (3), 480–491, 2005.
  • Camps-Valls G. ve Bruzzone L., Kernel-based methods for hyperspectral image classification, IEEE Transactions on Geoscience and Remote Sensing, 43 (6), 1351–1362, 2005.
  • Fang L., Li S., Duan W., Ren J. ve Benediktsson J.A., Classification of Hyperspectral Images by Exploiting Spectral-Spatial Information of Superpixel via Multiple Kernels, IEEE Transactions on Geoscience and Remote Sensing, 53 (12), 6663–6674, 2015.
  • Fang L., Li S., Kang X. ve Benediktsson J.A., Spectral-spatial hyperspectral image classification via multiscale adaptive sparse representation, IEEE Transactions on Geoscience and Remote Sensing, 52 (12), 7738–7749, 2014.
  • Fauvel M., Chanussot J. ve Benediktsson J.A., A spatial-spectral kernel-based approach for the classification of remote-sensing images, Pattern Recognition, 45(1), 381–392, 2012.
  • Yang X., Ye Y., Li X., Lau R. Y. K., Zhang X. ve Huang X., Hyperspectral image classification with deep learning models, IEEE Transactions on Geoscience and Remote Sensing, 56(9), 5408–5423, 2018.
  • Data H., Deep Learning-Based Classification of Hyperspectral Data, IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 7, 1–14, 2015.
  • Roy S.K., Krishna G., Dubey S.R. ve Chaudhuri B.B., HybridSN: Exploring 3D-2D CNN Feature Hierarchy for Hyperspectral Image Classification, arXiv, 17 (2), 277–281, 2019.
  • Mingyi He H.C., Li B., Multi-scale 3D deep convolutional neural network for hyperspectral image classification, 2017 IEEE International Conference on Image Processing, Beijing-China, 3904–3908, 17-20 September, 2017.
  • Song L., Li W., Fang S., Hyperspectral Image Classification with Deep Feature Fusion Network, IEEE Transactions on Geoscience and Remote Sensing, 99, 3173–3184, 2018.
  • Ge Z., Cao G., Li X. ve Fu P., Hyperspectral Image Classification Method Based on 2D-3D CNN and Multibranch Feature Fusion, IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 13, 5776–5788, 2020.
  • LeCun Y., Bottou L., Bengio Y. ve Haffner P., Gradient-based learning applied to document recognition, Proceedings of the IEEE, 86 (11), 2278–2323, 1998.
  • Krizhevsky A., Sutskever I. ve Hinton G.E., ImageNet Classification with Deep Convolutional Neural Networks, in International Conference on Neural Information Processing Systems, 1097–1105, 2012.
  • Szegedy C., Going deeper with convolutions, 2015 IEEE Conference on Computer Vision and Pattern Recognition, Boston-USA, 1–9, 7-12 June, 2015.
  • He K., Zhang X., Ren S. ve Sun J., Deep residual learning for image recognition, 2016 IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas-USA, 770-778, 26 June-01 July, 2016.
  • Firat H. ve Hanbay D., Classification of Hyperspectral Images Using 3D CNN Based ResNet50, 29th Signal Processing and Communications Applications Conference, Istanbul-Turkey, 6–9, 9-11 June, 2021.
  • Shehab L.H., Fahmy O.M., Gasser S.M. ve El-Mahallawy M.S., An efficient brain tumor image segmentation based on deep residual networks (ResNets), Journal of King Saud University - Engineering Sciences, 1–9, 2020.
  • Simonyan K. ve Zisserman A., Very deep convolutional networks for large-scale image recognition, 3rd International Conference on Learning Representations, San Diego-USA, 1–14, 7-9 May, 2015.
  • Fırat H. ve Hanbay D., 4CF-Net: New 3D convolutional neural network for spectral spatial classification of hyperspectral remote sensing images, Journal of the Faculty of Engineering and Architecture of Gazi University, 37 (1), 439-454, 2022.
  • Grupo De Inteligencia Computacional (GIC). Hyperspectral Remote Sensing Scenes. http://www.ehu.eus/ccwintco/index.php/Hyperspectral_Remote_Sensin g_Scenes, Erişim tarihi Temmuz 15,2021. The ISPRS HyRank Benchmark. The HyRank Hyperspectral Dataset and Benchmark Framework. https://www2.isprs.org/commissions/comm3/wg4/hyrank, Erişim tarihi Temmuz 15,2021.
  • Dou P. ve Zeng C., Hyperspectral image classification using feature relations map learning, Remote Sensing, 12 (18), 2020.
  • Firat Hü., Asker M.E., Hanbay D., Classification of hyperspectral remote sensing images using different dimension reduction methods with 3D/2D CNN, Remote Sensing Applications:Society and Environment, 2022.
  • Canayaz M., MH-COVIDNet:Diagnosis of COVID-19 using deep neural networks and meta-heuristic-based feature selection on X-ray images, Biomedical Signal Processing and Control, 64, 102257, 2021.
  • Abd Elaziz M., Dahou A., Abualigah L., Advanced metaheuristic optimization techniques in applications of deep neural networks: a review., Neural Computing and Applications, 33, 14079-14099, 2021.
APA Fırat H, Hanbay D (2023). Hiperspektral görüntüler kullanılarak 3B ESA tabanlı derin öğrenme mimarilerinin karşılaştırılması. , 521 - 534. 10.17341/gazimmfd.977688
Chicago Fırat Hüseyin,Hanbay Davut Hiperspektral görüntüler kullanılarak 3B ESA tabanlı derin öğrenme mimarilerinin karşılaştırılması. (2023): 521 - 534. 10.17341/gazimmfd.977688
MLA Fırat Hüseyin,Hanbay Davut Hiperspektral görüntüler kullanılarak 3B ESA tabanlı derin öğrenme mimarilerinin karşılaştırılması. , 2023, ss.521 - 534. 10.17341/gazimmfd.977688
AMA Fırat H,Hanbay D Hiperspektral görüntüler kullanılarak 3B ESA tabanlı derin öğrenme mimarilerinin karşılaştırılması. . 2023; 521 - 534. 10.17341/gazimmfd.977688
Vancouver Fırat H,Hanbay D Hiperspektral görüntüler kullanılarak 3B ESA tabanlı derin öğrenme mimarilerinin karşılaştırılması. . 2023; 521 - 534. 10.17341/gazimmfd.977688
IEEE Fırat H,Hanbay D "Hiperspektral görüntüler kullanılarak 3B ESA tabanlı derin öğrenme mimarilerinin karşılaştırılması." , ss.521 - 534, 2023. 10.17341/gazimmfd.977688
ISNAD Fırat, Hüseyin - Hanbay, Davut. "Hiperspektral görüntüler kullanılarak 3B ESA tabanlı derin öğrenme mimarilerinin karşılaştırılması". (2023), 521-534. https://doi.org/10.17341/gazimmfd.977688
APA Fırat H, Hanbay D (2023). Hiperspektral görüntüler kullanılarak 3B ESA tabanlı derin öğrenme mimarilerinin karşılaştırılması. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, 38(1), 521 - 534. 10.17341/gazimmfd.977688
Chicago Fırat Hüseyin,Hanbay Davut Hiperspektral görüntüler kullanılarak 3B ESA tabanlı derin öğrenme mimarilerinin karşılaştırılması. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi 38, no.1 (2023): 521 - 534. 10.17341/gazimmfd.977688
MLA Fırat Hüseyin,Hanbay Davut Hiperspektral görüntüler kullanılarak 3B ESA tabanlı derin öğrenme mimarilerinin karşılaştırılması. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, vol.38, no.1, 2023, ss.521 - 534. 10.17341/gazimmfd.977688
AMA Fırat H,Hanbay D Hiperspektral görüntüler kullanılarak 3B ESA tabanlı derin öğrenme mimarilerinin karşılaştırılması. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi. 2023; 38(1): 521 - 534. 10.17341/gazimmfd.977688
Vancouver Fırat H,Hanbay D Hiperspektral görüntüler kullanılarak 3B ESA tabanlı derin öğrenme mimarilerinin karşılaştırılması. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi. 2023; 38(1): 521 - 534. 10.17341/gazimmfd.977688
IEEE Fırat H,Hanbay D "Hiperspektral görüntüler kullanılarak 3B ESA tabanlı derin öğrenme mimarilerinin karşılaştırılması." Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, 38, ss.521 - 534, 2023. 10.17341/gazimmfd.977688
ISNAD Fırat, Hüseyin - Hanbay, Davut. "Hiperspektral görüntüler kullanılarak 3B ESA tabanlı derin öğrenme mimarilerinin karşılaştırılması". Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi 38/1 (2023), 521-534. https://doi.org/10.17341/gazimmfd.977688
Sayfa Oluşturulma Tarihi
24-04-2024 6:10

İLETİŞİM

TÜBİTAK ULAKBİM TR Dizin

Yüzüncüyıl, İşçi Blokları Mahallesi

Muhsin Yazıcıoğlu Caddesi No:51/C

06530 Çankaya / ANKARA +90 (312) 298 92 00

trdizin@tubitak.gov.tr

TÜBİTAK ULAKBİM Ulusal Akademik Ağ ve Bilgi Merkezi Cahit Arf Bilgi Merkezi © Tüm Hakları Saklıdır. Gizlilik Politikası Kullanım Şartları