Manifold öğrenme yöntemlerinin ileri seviye regresyon yöntemleri ile genelleştirilmesi

Taşkın, Gülşen

doi:10.17341/gazimmfd.704793

Manifold öğrenme yöntemlerinin ileri seviye regresyon yöntemleri ile genelleştirilmesi

Gülşen TAŞKIN (İstanbul Teknik Üniversitesi, Afet Yönetimi Enstitüsü, Deprem Mühendisliği Bölümü, İstanbul, Türkiye)

Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi

5 1

Yıl: 2022 Cilt: 37 Sayı: 1 Sayfa Aralığı: 485 - 495 Metin Dili: Türkçe DOI: 10.17341/gazimmfd.704793 İndeks Tarihi: 29-07-2022

Manifold öğrenme yöntemlerinin ileri seviye regresyon yöntemleri ile genelleştirilmesi

Öz:

Son zamanlarda, doğrusal olmayan boyut indirgeme yöntemleri, diğer bir adı ile Manifold Öğrenme (MÖ) yöntemleri ile sınıflandırma konusunda çalışmalar yapılmıştır. MÖ yöntemleri, yüksek boyutlu verinin içinde aslında daha az boyutlu bir uzayda doğrusal olmayan bir manifoldun yer aldığı varsayımı üzerine çizge tabanlı bir dönüşüm yapmaktadır. Yüksek boyutlu uzayda yer alan verinin daha az boyutlu uzaya dönüştürülmesi için, veriler arası komşuluk ilişkilerinin korunması hedeflenir. MÖ yöntemlerinin birçoğu, eğitim verisinin tamamını birden alt uzaya dönüştür ve dönüşüme ait herhangi bir dönüşüm matrisi ya da analitik yapısı belli bir gömüleme fonksiyonu üretmezler. Bu sebepten ötürü, sonradan gelebilecek test verilerinin aynı alt uzaya dönüşümleri yapılamaz. Dönüşümün yapılabilmesi için, test verileri, önceki eğitim verileri ile birlikte, ilgili manifold öğrenme yöntemine tekrardan verilir ve öğrenme işlemi yeniden başlatılır. Ancak, her yeni test verisi geldikçe bu durumun tekrarlanması gerekeceğinden, hesaplama maliyeti artabilir. Bu nedenle, özellikle de sınıflandırma amaçlı çalışmalar için, manifold öğrenme yöntemlerinin, yeni gelecek test verisini alt uzaya dönüştürecek genel çözümlerine gereksinim vardır. Bu çalışmada, literatürde, örneklem dışı veri problemi olarak bilinen bu sorunun üstesinden gelmek için ileri seviye regresyon yöntemleri kullanılmıştır. İlgili manifold öğrenme yöntemi, regresyon yöntemleri ile modellenerek, dönüşüme ait gömüleme fonksiyonları üretilmiştir. Geliştirilen modellerin performansları hiperspektral görüntülerin sınıflandırılması üzerinde ayrıntılı bir biçimde analiz edilmiştir.

Anahtar Kelime: manifold öğrenme regression methods hiperspektral verilerin sınıflandırması boyut azaltma out-of-sample problem makine ogrenmesi

Extension to manifold learning methods via advanced regression methods

Öz:

Recently, nonlinear dimensionality reduction, also called manifold learning methods, has been studied in the context of classification tasks. Manifold learning methods are graph-based methods, and they assume there is a nonlinear manifold with low dimensional space, that is hidden in the high dimensional data. They aim at preserving the neighborhoods between the samples lying in the high-dimensional space when projecting the data. Most of the manifold learning methods embed the training data into low dimensional space, but neither provide any projection matrix or an embedding function representing the nonlinear transformation. Due to this, the test data cannot be mapped to the same low dimensional space. To map the test data, the entire data, including the test and the previous training data, are given to the manifold learning method, then the learning process is rerun. However, it should be noted that this process needs to be repeated in each of the cases when the test data become available, resulting in a very high computational burden process. Therefore, especially for the classification tasks, one needs to have a generalized solution of manifold learning methods to transform the test data into previously learned low-dimensional space. In this study, advanced regression methods are utilized to solve this problem, also known as the out-of-the-sample problem in the literature. The embedding function, representing the transformation between the high and the low dimensional space, is provided by modeling the corresponding manifold learning method via regression methods. The quality of each embedding is evaluated based on the classification of hyperspectral images in detail.

Anahtar Kelime:

Belge Türü: Makale Makale Türü: Araştırma Makalesi Erişim Türü: Erişime Açık

1. Celik C., Bilge H., Feature selection with weighted conditional mutual information, Journal of the Faculty of Engineering and Architecture of Gazi University, 30 (4), 585-596, 2015.
2. Hanbay K., Hyperspectral image classification using convolutional neural network and two-dimensional complex Gabor transform, Journal of the Faculty of Engineering and Architecture of Gazi University, 35 (I), 443-456, 2020.
3. Lunga, D., Prasad, S., Crawford, M. M., Ersoy, O., and Data, H., A review of advances in manifold learning, IEEE Signal Processing Magazine, 2014, 55–66, 2014.
4. Camps-Valls, G., Tuia, D., Gomez-Chova, L., Jimenez, S., and Malo, J., Remote Sensing Image Processing, Morgan &Claypool Publishers series, 2012.
5. Bellman, R., Adaptive Control Processes: A Guided Tour. Princeton, NJ: Princeton Univ. Press, 1961.
6. Bishop, C. M., Neural networks for pattern recognition, Oxford University Press, 1995.
7. D. Xiao and J. Zhang, Feature selection: Evaluation, application, and small sample performance, Pattern Analysis and Machine Intelligence, 19 (2), 197–201, 2009.
8. Jia, X., Kuo, B.-C., and Crawford, M. M., Feature Mining for Hyperspectral Image Classification, Proc. IEEE, 101 (3), 2013.
9. Roweis, S. T., and Saul, L. K., Nonlinear dimensionality reduction by locally linear embedding, Science, 290 (5500), 2323–2326, 2000.
10. Saul L. K. and Roweis, S. T., Think globally, fit locally: Unsupervised learning of low dimensional manifold, J. Mach. Learn. Res., 4, 119–155, 2003.
11. Yan, S., Xu, D., Zhang, B., Zhang, H. J., Yang, Q., and S. Lin, Graph embedding and extensions: A general framework for dimensionality reduction, IEEE Trans. Pattern Anal. Mach. Intell., 29 (1), 40–51, 2007.
12. Belkin M, Niyogi P., Laplacian eigenmaps and spectral techniques for embedding and clustering. MIT Press, In: Advances in neural information processing systems, 14 (14), 585–591, 2001.
13. Tenenbaum, J., Silva, V. de., and Langford, L., A global geometric framework for nonlinear dimensionality reduction, Science, 290 (5500), 2319–2323, 2000.
14. Donoho D. and Grimes C., Hessian eigenmaps: Locally linear embedding techniques for high-dimensional data, Proc Nat Acad Sci USA, 100 (10), 5591–5596, 2003.
15. Zhang Z. and Zha H., Principal manifolds and nonlinear dimension reduction via local tangent space alignment, SIAM J Scientif Comput., 26 (1), 313–338, 2005.
16. Zhu, F., Wang, Y., Xiang, S., Fan, B., and Pan, C., Structured Sparse Method for Hyperspectral Unmixing, ISPRS Journal of Photogrammetry and Remote Sensing, 88, 101-118, 2014.
17. Danping, L., Yuntao, Q. Jun Z. et. al., A Manifold Alignment Approach for Hyperspectral Image Visualization with Natural Color, IEEE Transactions on Geoscience and Remote Sensing, 54 (6), 3151-3162, 2016.
18. Hsiuhan L. Y. and Crawford, M. M., Domain Adaptation with Preservation of Manifold for Hyperspectral Image Classification, IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 9 (2), 543-555, 2016.
19. Bengio, Y., Paiement, J., Vincent, Dellallaeu, O., Roux, L., and Quimet, M., Out-of sample extensions for LLE, Isomap, MDS, eigenmaps, and spectral clustering, in Advances in Neural Information Processing System, vol. 16. Cambridge, MA, MIT Press, 2004.
20. Vural, E. and Guillemot, C., Out-of-Sample Generalizations for Supervised Manifold Learning for Classification, IEEE Transactions on Image Processing, 25 (3), 1410-1424, 2016.
21. He, X. and Niyogi, P., Locality preserving projections, in Advances in Neural Information Processing System, Cambridge, MA, MIT Press, 16, 2004.
22. He, X., Cai, D., Yan, S., and Zhang, H., Neighborhood preserving embedding, in Proc. IEEE Int. Conf. Comput. Vis., 1208–1213, 2005.
23. Taşkın, G. and Crawford M. M., An out-of-sample extension to manifold learning via meta-modelling, IEEE Transactions on Image Processing, 28 (10), 5227- 5237, 2019.
24. Cai, D., He, X., and Han, J., Spectral Regression for Dimensionality Reduction Spectral Regression for Dimensionality Reduction, University of Illinois at Urbana-Champaign, Tech. Rep. May, 2007.
25. Liu, B., Xia, S. X., Meng, F. R., and Zhou, Y., Extreme spectral regression for efficient regularized subspace learning, Neurocomputing, 149 (Part A), 171–179, 2015.
26. Barkan, O., Weill J., and Averbuch, A., Gaussian process regression for out-of-sample extension, in IEEE Int. Workshop Mach. Learn. Signal Process. (MLSP), 1- 6, 2016.
27. Hang, R., Liu, Q., Song, H., Sun, Y., Zhu, F., and Pei, H., Graph regularized nonlinear ridge regression for remote sensing data analysis, IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 10 (1), 277–285, 2017.
28. Tang, M., Nie, F., and Jain, R., A graph regularized dimension reduction method for out-of-sample data, Neurocomputing, 225, 58-63, 2017.
29. Orsenigo and C. Vercellis, Kernel ridge regression for out-of-sample mapping in supervised manifold learning, Expert Systems with Applications, 39 (9), 7757–7762, 2012.
30. G. Liu, Z. Lin, and Y. Yu, Multi-output regression on the output manifold, Pattern Recognition, 42 (11), 2737–2743, 2009.
31. Saunders, C., Gammerman, A., and Vovk, V., Ridge regression learning algorithm in dual variables. In Proceedings of the 15th Int. Con. on Mac. Learn., Morgan Kaufmann, 515–521, 1998.
32. Smola, A. J. and Schölkopf, B., A tutorial on support vector regression, Statistics and Computing, 14 (3), 199–222, 2004.
33. Williams, C. K., and Rasmussen, C. E., Gaussian processes for machine learning, MIT Press, 2006.
34. Tipping, M. E., The Relevance Vector Machine, Advances in Neural Information Processing Systems 12, Cambridge, Mass: MIT Press, 2000.
35. Huang, G.-B., and Chen, L., Enhanced random search based incremental extreme learning machine. Neurocomputing, 71 (16–18), 3460–3468, 2008.
36. Van der Maaten, L.J.P., An Introduction to Dimensionality Reduction Using MatLab, Report MICC 07-07, July, 2007.

APA	Taşkın G (2022). Manifold öğrenme yöntemlerinin ileri seviye regresyon yöntemleri ile genelleştirilmesi. , 485 - 495. 10.17341/gazimmfd.704793
Chicago	Taşkın Gülşen Manifold öğrenme yöntemlerinin ileri seviye regresyon yöntemleri ile genelleştirilmesi. (2022): 485 - 495. 10.17341/gazimmfd.704793
MLA	Taşkın Gülşen Manifold öğrenme yöntemlerinin ileri seviye regresyon yöntemleri ile genelleştirilmesi. , 2022, ss.485 - 495. 10.17341/gazimmfd.704793
AMA	Taşkın G Manifold öğrenme yöntemlerinin ileri seviye regresyon yöntemleri ile genelleştirilmesi. . 2022; 485 - 495. 10.17341/gazimmfd.704793
Vancouver	Taşkın G Manifold öğrenme yöntemlerinin ileri seviye regresyon yöntemleri ile genelleştirilmesi. . 2022; 485 - 495. 10.17341/gazimmfd.704793
IEEE	Taşkın G "Manifold öğrenme yöntemlerinin ileri seviye regresyon yöntemleri ile genelleştirilmesi." , ss.485 - 495, 2022. 10.17341/gazimmfd.704793
ISNAD	Taşkın, Gülşen. "Manifold öğrenme yöntemlerinin ileri seviye regresyon yöntemleri ile genelleştirilmesi". (2022), 485-495. https://doi.org/10.17341/gazimmfd.704793

APA	Taşkın G (2022). Manifold öğrenme yöntemlerinin ileri seviye regresyon yöntemleri ile genelleştirilmesi. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, 37(1), 485 - 495. 10.17341/gazimmfd.704793
Chicago	Taşkın Gülşen Manifold öğrenme yöntemlerinin ileri seviye regresyon yöntemleri ile genelleştirilmesi. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi 37, no.1 (2022): 485 - 495. 10.17341/gazimmfd.704793
MLA	Taşkın Gülşen Manifold öğrenme yöntemlerinin ileri seviye regresyon yöntemleri ile genelleştirilmesi. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, vol.37, no.1, 2022, ss.485 - 495. 10.17341/gazimmfd.704793
AMA	Taşkın G Manifold öğrenme yöntemlerinin ileri seviye regresyon yöntemleri ile genelleştirilmesi. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi. 2022; 37(1): 485 - 495. 10.17341/gazimmfd.704793
Vancouver	Taşkın G Manifold öğrenme yöntemlerinin ileri seviye regresyon yöntemleri ile genelleştirilmesi. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi. 2022; 37(1): 485 - 495. 10.17341/gazimmfd.704793
IEEE	Taşkın G "Manifold öğrenme yöntemlerinin ileri seviye regresyon yöntemleri ile genelleştirilmesi." Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, 37, ss.485 - 495, 2022. 10.17341/gazimmfd.704793
ISNAD	Taşkın, Gülşen. "Manifold öğrenme yöntemlerinin ileri seviye regresyon yöntemleri ile genelleştirilmesi". Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi 37/1 (2022), 485-495. https://doi.org/10.17341/gazimmfd.704793