4CF-Net: Hiperspektral uzaktan algılama görüntülerinin spektral uzamsal sınıflandırılması için yeni 3B evrişimli sinir ağı

Fırat, Hüseyin; Hanbay, Davut

doi:10.17341/gazimmfd.901291

4CF-Net: Hiperspektral uzaktan algılama görüntülerinin spektral uzamsal sınıflandırılması için yeni 3B evrişimli sinir ağı

Hüseyin FIRAT, (Dicle Üniversitesi, Teknik Bilimler Meslek Yüksekokulu, Bilgisayar Teknolojileri Bölümü, Diyarbakır, Türkiye)

Davut HANBAY (İnönü Üniversitesi, Mühendislik Fakültesi, Bilgisayar Mühendisliği Bölümü, Malatya, Türkiye)

Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi

4 3

Yıl: 2022 Cilt: 37 Sayı: 1 Sayfa Aralığı: 439 - 453 Metin Dili: Türkçe DOI: 10.17341/gazimmfd.901291 İndeks Tarihi: 29-07-2022

4CF-Net: Hiperspektral uzaktan algılama görüntülerinin spektral uzamsal sınıflandırılması için yeni 3B evrişimli sinir ağı

Öz:

Hiperspektral görüntüler (HG), uzaktan algılamada yaygın olarak kullanılan bitişik bant görüntüleridir. Derin öğrenme HG sınıflandırmasında kullanılan etkili bir yöntemdir. Evrişimli sinir ağları (ESA) ise HG sınıflandırmasında kullanılan derin öğrenme yöntemlerinden biridir. Spektral-uzamsal alanlardan HG’lerin soyut özelliklerini öğrenebilen otomatik yaklaşımlar sağlamaktadır. HG’lerin yüksek boyutsallığı hesaplama karmaşıklığını arttırmaktadır. Bu nedenle, geliştirilen ESA modellerinin çoğu, ön-işleme adımı olarak boyut indirgeme gerçekleştirmektedir. HG sınıflandırmasındaki diğer bir problem ise, doğru sonuçlar elde etmek için spektral-uzamsal özelliklerin dikkate alınması gerekliliğidir. Çünkü, HG sınıflandırma performansı büyük ölçüde spektral-uzamsal bilgilere bağlıdır. Bu çalışmada, HG sınıflandırması için yeni bir 3B ESA modeli önerilmiştir. Önerilen yöntem, HG’lerdeki spektral-uzamsal özellikleri eşzamanlı olarak çıkarmak için etkili bir yöntem sağlamaktadır. Ağ, girişte 3B hiperspektral küpü kullanmaktadır. Hiperspektral küpteki boyutsal fazlalığı gidermek için temel bileşen analizi kullanılmaktadır. Daha sonra komşuluk çıkarımı kullanılarak, spektral-uzamsal özellikler etkin bir şekilde çıkarılmaktadır. Önerilen yöntem 4 veriseti ile test edilmiştir. Uygulama sonuçları 7 farklı derin öğrenme tabanlı yöntemle karşılaştırılmış ve 4CF-Net yöntemimizin daha iyi sınıflandırma performansı gösterdiği görülmüştür.

Anahtar Kelime: derin öğrenme 3B evrişimli sinir ağı hiperspektral görüntü sınıflandırma uzaktan algılama

4CF-Net: New 3D convolutional neural network for spectral spatial classification of hyperspectral remote sensing images

Öz:

Hyperspectral images (HSI) are contiguous band images commonly used in remote sensing. Deep learning (DL) is an effective method used in HSI classification. Convolutional neural networks (CNN) are one of the DL methods used in HSI classification. It provides automated approaches that can learn abstract features of HSIs from spectral-spatial fields. The high dimensionality of the HSIs increases the computational complexity. Therefore, most of the developed CNN models perform dimensionality reduction as a preprocessing step. Another problem in HSI classification is that spectral-spatial features must be considered in order to obtain accurate results. Because, HSI classification performance is highly dependent on spectralspatial information. In this study, a new 3D CNN model is proposed for HSI classification. The proposed method provides an effective method to simultaneously extract spectral-spatial features in HSIs. The network uses the 3D hyperspectral cube at the input. Principal component analysis is used to eliminate the dimensional redundancy in the hyperspectral cube. Then, using neighborhood extraction, spectral-spatial features are extracted effectively. The proposed method has been tested with 4 datasets. The application results were compared with 7 different DL-based methods and it was seen that our 4CF-Net method showed better classification performance.

Anahtar Kelime:

Belge Türü: Makale Makale Türü: Araştırma Makalesi Erişim Türü: Erişime Açık

1. Dou P. and Zeng C., Hyperspectral image classification using feature relations map learning, Remote Sens., 12 (18), 2020.
2. Jia J., Wang Y., Chen J., Guo R., Shu R., and Wang J., Status and application of advanced airborne hyperspectral imaging technology: A review, Infrared Phys. Technol., 104, 103-115, 2020.
3. Sun H., Ren J., Zhao H., Yan Y., Zabalza J., and Marshall S., Superpixel based feature specific sparse representation for spectral-spatial classification of hyperspectral images, Remote Sens., 11 (5), 2019.
4. Audebert N., Le Saux B., and Lefèvre S., Deep learning for classification of hyperspectral data: A comparative review, arXiv, 2019.
5. Yang D. and Bao W., Group Lasso-Based Band Selection for Hyperspectral Image Classification, IEEE Geosci. Remote Sens. Lett., 14 (12), 2438–2442, 2017.
6. Kang X., Duan P., and Li S., Hyperspectral image visualization with edge-preserving filtering and principal component analysis, Inf. Fusion, 57, 130–143, 2020.
7. Xu H., Zhang H., He W., and Zhang L., Superpixelbased spatial-spectral dimension reduction for hyperspectral imagery classification, Neurocomputing, 360, 138–150, 2019.
8. Hanbay K., Hyperspectral image classification using convolutional neural network and two-dimensional complex Gabor transform, Journal of the Faculty of Engineering and Architecture of Gazi University, 35 (1), 443–456, 2020.
9. Ahmad M. et al., Spatial prior fuzziness pool-based interactive classification of hyperspectral images, Remote Sens., 11 (9), 1–19, 2019.
10. Wang Y., Yu W., and Fang Z., Multiple Kernel-based SVM classification of hyperspectral images by combining spectral, spatial, and semantic information, Remote Sens., 12 (1), 2020.
11. Alcolea A., Paoletti M. E., Haut J. M., Resano J., and Plaza A., Inference in supervised spectral classifiers for on-board hyperspectral imaging: An overview, Remote Sens., 12 (3), 1–29, 2020.
12. Li Y., Zhang H., and Shen Q., Spectral-spatial classification of hyperspectral imagery with 3D convolutional neural network, Remote Sens., 9 (1), 2017.
13. Ahmad M., Khan A. M., Mazzara M., Distefano S., Ali M., and Sarfraz M.S., A Fast and Compact 3-D CNN for Hyperspectral Image Classification, IEEE Geosci. Remote Sens. Lett., 1–5, 2020.
14. Mohan A. and Venkatesan M., HybridCNN based hyperspectral image classification using multiscale spatiospectral features, Infrared Phys. Technol., 108, 2020.
15. Zhao C., Wan X., Zhao G., Cui B., Liu W., and Qi B., Spectral-Spatial Classification of Hyperspectral Imagery Based on Stacked Sparse Autoencoder and Random Forest, Eur. J. Remote Sens., 50 (1), 47–63, 2017.
16. ChenY., Lin Z., Zhao X., Wang G., and Gu Y., Deep learning-based classification of hyperspectral data, IEEE J. Sel. Top. Appl. Earth Obs. Remote Sens., 7 (6),2094–2107, 2014.
17. Mughees A. and Tao L., Efficient deep auto-encoder learning for the classification of hyperspectral images, 2016 International Conference on Virtual Reality and Visualization, ICVRV 2016, Hangzhou-China, 44–51, 24-26 September, 2016.
18. Ma X., Geng J., and Wang H., Hyperspectral image classification via contextual deep learning, Eurasip J. Image Video Process., 2015 (1), 2015.
19. Chen Y., Zhao X., and Jia X., Spectral-Spatial Classification of Hyperspectral Data Based on Deep Belief Network, IEEE J. Sel. Top. Appl. Earth Obs. Remote Sens., 8 (6), 2381–2392, 2015.
20. Li J., Xi B., Li Y., Du Q., and Wang K., Hyperspectral classification based on texture feature enhancement and deep belief networks, Remote Sens., 10 (3), 2018.
21. Chen C. et al., Hyperspectral classification based on spectral–spatial convolutional neural networks, Eng. Appl. Artif. Intell., 68, 165–171, 2018.
22. Roy S. K., Krishna G., Dubey S. R., and Chaudhuri B. B., HybridSN: Exploring 3D-2D CNN Feature Hierarchy for Hyperspectral Image Classification, arXiv, 17 (2), 277–281, 2019.
23. Zhong Z., Li J., Luo Z., and Chapman M., SpectralSpatial Residual Network for Hyperspectral Image Classification: A 3-D Deep Learning Framework, IEEE Trans. Geosci. Remote Sens., 56 (2), 847–858, 2018.
24. Song L., Li W., Fang S., Hyperspectral Image Classification with Deep Feature Fusion Network, IEEE Trans. Geosci. Remote Sens., 99, 3173–3184, 2018.
25. Meng Z., Li L., Tang X., Feng Z., Jiao L., and Liang M., Multipath residual network for spectral-spatial hyperspectral image classification, Remote Sens., 11 (16),1–19, 2019.
26. Mu C., Guo Z., and Liu Y., A multi-scale and multilevel spectral-spatial feature fusion network for hyperspectral image classification, Remote Sens., 12 (1), 2020.
27. Paoletti M. E., Haut J. M., Plaza J., and Plaza A., A new deep convolutional neural network for fast hyperspectral image classification, ISPRS J. Photogramm. Remote Sens., 145, 120–147, 2018.
28. Li S., Song W., Fang L., Chen Y., Ghamisi P., and Benediktsson J. A., Deep Learning for Hyperspectral Image Classification: An Overview, arXiv, 57 (9), 6690–6709, 2019.
29. Huang L. and Chen Y., Dual-Path Siamese CNN for Hyperspectral Image Classification With Limited Training Samples, IEEE Geosci. Remote Sens. Lett., 18 (3), 1–5, 2020.
30. Chen P., Jiang Y., Li H., Jia C., Ghamisi X., Deep feature extraction and classification of hyperspectral images based on convolutional neural networks, IEEE Trans. Geosci. Remote Sens., 54 (10), 6232–6251, 2016.
31. Zhang Y., Jiang X., Wang X., and Cai Z., Spectralspatial hyperspectral image classification with superpixel pattern and extreme learning machine, Remote Sens., 11 (17), 2019.
32. Appice A. and Malerba D., Segmentation-aided classification of hyperspectral data using spatial dependency of spectral bands, ISPRS J. Photogramm. Remote Sens., 147, 215–231, 2019.
33. Uddin M. P., Al Mamun M., and Hossain M. A., PCAbased Feature Reduction for Hyperspectral Remote Sensing Image Classification, IETE Tech. Rev. (Institution Electron. Telecommun. Eng. India), 1–21, 2020.
34. Grupo De Inteligencia Computacional (GIC), Hyperspectral Remote Sensing Scenes, http://www.ehu.eus/ccwintco/index.php/Hyperspectral _Remote_Sensing_Scenes. Erişim tarihi Mart 17, 2021.

APA	Fırat H, Hanbay D (2022). 4CF-Net: Hiperspektral uzaktan algılama görüntülerinin spektral uzamsal sınıflandırılması için yeni 3B evrişimli sinir ağı. , 439 - 453. 10.17341/gazimmfd.901291
Chicago	Fırat Hüseyin,Hanbay Davut 4CF-Net: Hiperspektral uzaktan algılama görüntülerinin spektral uzamsal sınıflandırılması için yeni 3B evrişimli sinir ağı. (2022): 439 - 453. 10.17341/gazimmfd.901291
MLA	Fırat Hüseyin,Hanbay Davut 4CF-Net: Hiperspektral uzaktan algılama görüntülerinin spektral uzamsal sınıflandırılması için yeni 3B evrişimli sinir ağı. , 2022, ss.439 - 453. 10.17341/gazimmfd.901291
AMA	Fırat H,Hanbay D 4CF-Net: Hiperspektral uzaktan algılama görüntülerinin spektral uzamsal sınıflandırılması için yeni 3B evrişimli sinir ağı. . 2022; 439 - 453. 10.17341/gazimmfd.901291
Vancouver	Fırat H,Hanbay D 4CF-Net: Hiperspektral uzaktan algılama görüntülerinin spektral uzamsal sınıflandırılması için yeni 3B evrişimli sinir ağı. . 2022; 439 - 453. 10.17341/gazimmfd.901291
IEEE	Fırat H,Hanbay D "4CF-Net: Hiperspektral uzaktan algılama görüntülerinin spektral uzamsal sınıflandırılması için yeni 3B evrişimli sinir ağı." , ss.439 - 453, 2022. 10.17341/gazimmfd.901291
ISNAD	Fırat, Hüseyin - Hanbay, Davut. "4CF-Net: Hiperspektral uzaktan algılama görüntülerinin spektral uzamsal sınıflandırılması için yeni 3B evrişimli sinir ağı". (2022), 439-453. https://doi.org/10.17341/gazimmfd.901291

APA	Fırat H, Hanbay D (2022). 4CF-Net: Hiperspektral uzaktan algılama görüntülerinin spektral uzamsal sınıflandırılması için yeni 3B evrişimli sinir ağı. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, 37(1), 439 - 453. 10.17341/gazimmfd.901291
Chicago	Fırat Hüseyin,Hanbay Davut 4CF-Net: Hiperspektral uzaktan algılama görüntülerinin spektral uzamsal sınıflandırılması için yeni 3B evrişimli sinir ağı. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi 37, no.1 (2022): 439 - 453. 10.17341/gazimmfd.901291
MLA	Fırat Hüseyin,Hanbay Davut 4CF-Net: Hiperspektral uzaktan algılama görüntülerinin spektral uzamsal sınıflandırılması için yeni 3B evrişimli sinir ağı. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, vol.37, no.1, 2022, ss.439 - 453. 10.17341/gazimmfd.901291
AMA	Fırat H,Hanbay D 4CF-Net: Hiperspektral uzaktan algılama görüntülerinin spektral uzamsal sınıflandırılması için yeni 3B evrişimli sinir ağı. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi. 2022; 37(1): 439 - 453. 10.17341/gazimmfd.901291
Vancouver	Fırat H,Hanbay D 4CF-Net: Hiperspektral uzaktan algılama görüntülerinin spektral uzamsal sınıflandırılması için yeni 3B evrişimli sinir ağı. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi. 2022; 37(1): 439 - 453. 10.17341/gazimmfd.901291
IEEE	Fırat H,Hanbay D "4CF-Net: Hiperspektral uzaktan algılama görüntülerinin spektral uzamsal sınıflandırılması için yeni 3B evrişimli sinir ağı." Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, 37, ss.439 - 453, 2022. 10.17341/gazimmfd.901291
ISNAD	Fırat, Hüseyin - Hanbay, Davut. "4CF-Net: Hiperspektral uzaktan algılama görüntülerinin spektral uzamsal sınıflandırılması için yeni 3B evrişimli sinir ağı". Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi 37/1 (2022), 439-453. https://doi.org/10.17341/gazimmfd.901291