Yıl: 2021 Cilt: 8 Sayı: 15 Sayfa Aralığı: 343 - 352 Metin Dili: İngilizce DOI: 10.54365/adyumbd.940539 İndeks Tarihi: 04-01-2022

A NEW RESAMPLING APPROACH BASED ON WEIGHTED GEOMETRIC MEAN FOR UNBALANCED DATA

Öz:
In recent years, there have been great improvements in data classification processes using machine learning methods. As technological advances increase, the size of data in the internet and other environments also increases rapidly. With these developments, unbalanced and unclassified data has emerged. The problem of imbalance is that one of the two classes has fewer samples than the other. Most of the datasets, especially used in the medical field, have an unbalanced distribution. A dataset with unbalanced distribution negatively affects the performance of classification algorithms. Many studies have been conducted to balance and classify this distribution. These studies are at the data and algorithm level and are undersampling and oversampling processes. In this study, the existing samples belonging to the minority class were resampled synthetically, and the datasets were balanced. For the resampling process, among the samples belonging to the minority class, the closest neighbors were determined for all data points using the Euclidean distance metric. Based on these neighbors, the desired number of new synthetic samples were created between each sample using the Weighted Geometric Mean. As a result of this process, the dataset has been balanced. In addition, Random Undersampling (RUS), Random Oversampling (ROS), and Synthetic Minority Sampling Technique (SMOTE) methods are also used to balance the datasets. The raw and balanced datasets are classified using the Random Forest algorithm, and the results are compared. As a result of the study, an increase is observed in all performance values of the datasets balanced with the new resampling approach. Using the approach proposed in the study, it is shown that the balanced datasets using the new resampling method improve the classification performance compared to the raw dataset and other methods.
Anahtar Kelime:

DENGESİZ VERİLER İÇİN AĞIRLIKLI GEOMETRİK ORTALAMA TABANLI YENİ BİR YENİDEN ÖRNEKLEME YAKLAŞIMI

Öz:
Son yıllarda makine öğrenmesi yöntemleri kullanılarak veri sınıflandırma işlemlerinde büyük gelişmeler yaşanmıştır. Teknolojik gelişmeler arttıkça, internet ortamında ve diğer ortamlarda verilerin boyutu da hızla artmaktadır. Bununla beraber dengesiz ve sınıflandırılmamış veriler ortaya çıkmıştır. Dengesizlik problemi iki sınıftan birinin diğerine göre daha az örneğe sahip olması durumudur. Özellikle tıbbi alanda kullanılan veri kümelerin çoğu dengesiz dağılıma sahiptir. Dengesiz dağılıma sahip bir veri kümesi sınıflandırıcı algoritmaların başarım performansını olumsuz yönde etkilemektedir. Bu dağılımı dengelemek ve sınıflandırmak için birçok çalışma yapılmıştır. Bu çalışmalar veri ve algoritma düzeyinde olup, yeniden örnekleme yöntemi ile örneklem azaltma ve örneklem çoğaltma işlemleridir. Bu çalışmada azınlık sınıfa ait mevcut örnekler, yeniden sentetik olarak çoğaltılmıştır ve veri kümeleri dengelenmiştir. Yeniden örnekleme işlemi için, azınlık sınıfa ait örnekler arasında, Öklid uzaklık metriğiyle tüm data noktaları için en yakın komşular tespit edilmiştir. Bu komşular baz alınarak, her örnek arasında Ağırlıklı Geometrik Ortalama kullanılarak istenen sayıda yeni sentetik örnekler oluşturulmuştur. Bu işlem sonucunda veri kümeleri dengeli hale getirilmiştir. Ayrıca, veri setlerini dengelemek için Rastgele Az Örnekleme (RUS), Rastgele Aşırı Örnekleme (ROS) ve Sentetik Azınlık Örnekleme Tekniği (SMOTE) yöntemleri de kullanılmıştır. Orijinal ve dengelenmiş veri kümeleri Random Forest algoritması ile sınıflandırılmış ve sonuçları kıyaslanmıştır. Çalışma sonucunda, yeniden örnekleme yaklaşımı ile dengelenen veri setlerinin tüm performans değerlerinde artış gözlemlenmiştir. Çalışmada önerilen yaklaşım ile yeniden örneklenerek dengelenen veri kümesi, ham veri kümesi ve diğer yöntemlere kıyasla sınıflandırma performansını iyileştirdiği gösterilmiştir.
Anahtar Kelime:

Belge Türü: Makale Makale Türü: Araştırma Makalesi Erişim Türü: Erişime Açık
  • [1] E. Alpaydin, Introduction to machine learning. MIT press, 2020.
  • [2] D. T. Larose and C. D. Larose, Discovering knowledge in data: an introduction to data mining. John Wiley & Sons, 2014.
  • [3] K. Kowsari, K. Jafari Meimandi, M. Heidarysafa, S. Mendu, L. Barnes, and D. Brown, "Text classification algorithms: A survey," Information, vol. 10, no. 4, p. 150, 2019.
  • [4] M. S. Shelke, P. R. Deshmukh, and V. K. Shandilya, "A review on imbalanced data handling using undersampling and oversampling technique," International Journal of Recent Trends in Engineering and Research, vol. 3, no. 4, pp. 444-449, 2017.
  • [5] N. V. Chawla, K. W. Bowyer, L. O. Hall, and W. P. Kegelmeyer, "SMOTE: synthetic minority over-sampling technique," Journal of artificial intelligence research, vol. 16, pp. 321-357, 2002.
  • [6] H. Han, W.-Y. Wang, and B.-H. Mao, "Borderline-SMOTE: a new over-sampling method in imbalanced data sets learning," in International conference on intelligent computing, 2005: Springer, pp. 878-887.
  • [7] H. M. Nguyen, E. W. Cooper, and K. Kamei, "Borderline over-sampling for imbalanced data classification," International Journal of Knowledge Engineering and Soft Data Paradigms, vol. 3, no. 1, pp. 4-21, 2011.
  • [8] G. E. Batista, R. C. Prati, and M. C. Monard, "A study of the behavior of several methods for balancing machine learning training data," ACM SIGKDD explorations newsletter, vol. 6, no. 1, pp. 20-29, 2004.
  • [9] I. Mani and I. Zhang, "kNN approach to unbalanced data distributions: a case study involving information extraction," in Proceedings of workshop on learning from imbalanced datasets, 2003, vol. 126: ICML United States.
  • [10] Y. Sun, M. S. Kamel, A. K. Wong, and Y. Wang, "Cost-sensitive boosting for classification of imbalanced data," Pattern Recognition, vol. 40, no. 12, pp. 3358-3378, 2007.
  • [11] L. Yijing, G. Haixiang, L. Xiao, L. Yanan, and L. Jinling, "Adapted ensemble classification algorithm based on multiple classifier system and feature selection for classifying multi-class imbalanced data," Knowledge-Based Systems, vol. 94, pp. 88-104, 2016.
  • [12] M. M. Rahman and D. N. Davis, "Addressing the class imbalance problem in medical datasets," International Journal of Machine Learning and Computing, vol. 3, no. 2, p. 224, 2013.
  • [13] K. D. Repository. (12.04.2021). Imbalanced Dataset [Online]. Available: https://sci2s.ugr.es/keel/imbalanced.php.
  • [14] R. Longadge and S. Dongre, "Class imbalance problem in data mining review," arXiv preprint arXiv:1305.1707, 2013.
  • [15] S. M. Abd Elrahman and A. Abraham, "A review of class imbalance problem," Journal of Network and Innovative Computing, vol. 1, no. 2013, pp. 332-340, 2013.
  • [16] S. Vluymans, Dealing with imbalanced and weakly labelled data in machine learning using fuzzy and rough set methods. Springer, 2019.
  • [17] A. Fernández, S. García, M. Galar, R. C. Prati, B. Krawczyk, and F. Herrera, Learning from imbalanced data sets. Springer, 2018.
  • [18] L. Breiman, "Random forests," Machine learning, vol. 45, no. 1, pp. 5-32, 2001.
  • [19] A. Liaw and M. Wiener, "Classification and regression by randomForest," R news, vol. 2, no. 3, pp. 18-22, 2002.
  • [20] M. Ercire, "Classification of short-term power quality disturbances with wavelet analysis and random forest method," Ph.D Doctoral 2019.
  • [21] S. Narkhede, "Understanding auc-roc curve," Towards Data Science, vol. 26, pp. 220-227, 2018.
APA DAL A, gumus i, Güldal S, YAVAS M (2021). A NEW RESAMPLING APPROACH BASED ON WEIGHTED GEOMETRIC MEAN FOR UNBALANCED DATA. , 343 - 352. 10.54365/adyumbd.940539
Chicago DAL Abdullah,gumus ibrahim halil,Güldal Serkan,YAVAS MUSTAFA A NEW RESAMPLING APPROACH BASED ON WEIGHTED GEOMETRIC MEAN FOR UNBALANCED DATA. (2021): 343 - 352. 10.54365/adyumbd.940539
MLA DAL Abdullah,gumus ibrahim halil,Güldal Serkan,YAVAS MUSTAFA A NEW RESAMPLING APPROACH BASED ON WEIGHTED GEOMETRIC MEAN FOR UNBALANCED DATA. , 2021, ss.343 - 352. 10.54365/adyumbd.940539
AMA DAL A,gumus i,Güldal S,YAVAS M A NEW RESAMPLING APPROACH BASED ON WEIGHTED GEOMETRIC MEAN FOR UNBALANCED DATA. . 2021; 343 - 352. 10.54365/adyumbd.940539
Vancouver DAL A,gumus i,Güldal S,YAVAS M A NEW RESAMPLING APPROACH BASED ON WEIGHTED GEOMETRIC MEAN FOR UNBALANCED DATA. . 2021; 343 - 352. 10.54365/adyumbd.940539
IEEE DAL A,gumus i,Güldal S,YAVAS M "A NEW RESAMPLING APPROACH BASED ON WEIGHTED GEOMETRIC MEAN FOR UNBALANCED DATA." , ss.343 - 352, 2021. 10.54365/adyumbd.940539
ISNAD DAL, Abdullah vd. "A NEW RESAMPLING APPROACH BASED ON WEIGHTED GEOMETRIC MEAN FOR UNBALANCED DATA". (2021), 343-352. https://doi.org/10.54365/adyumbd.940539
APA DAL A, gumus i, Güldal S, YAVAS M (2021). A NEW RESAMPLING APPROACH BASED ON WEIGHTED GEOMETRIC MEAN FOR UNBALANCED DATA. Adıyaman Üniversitesi Mühendislik Bilimleri Dergisi, 8(15), 343 - 352. 10.54365/adyumbd.940539
Chicago DAL Abdullah,gumus ibrahim halil,Güldal Serkan,YAVAS MUSTAFA A NEW RESAMPLING APPROACH BASED ON WEIGHTED GEOMETRIC MEAN FOR UNBALANCED DATA. Adıyaman Üniversitesi Mühendislik Bilimleri Dergisi 8, no.15 (2021): 343 - 352. 10.54365/adyumbd.940539
MLA DAL Abdullah,gumus ibrahim halil,Güldal Serkan,YAVAS MUSTAFA A NEW RESAMPLING APPROACH BASED ON WEIGHTED GEOMETRIC MEAN FOR UNBALANCED DATA. Adıyaman Üniversitesi Mühendislik Bilimleri Dergisi, vol.8, no.15, 2021, ss.343 - 352. 10.54365/adyumbd.940539
AMA DAL A,gumus i,Güldal S,YAVAS M A NEW RESAMPLING APPROACH BASED ON WEIGHTED GEOMETRIC MEAN FOR UNBALANCED DATA. Adıyaman Üniversitesi Mühendislik Bilimleri Dergisi. 2021; 8(15): 343 - 352. 10.54365/adyumbd.940539
Vancouver DAL A,gumus i,Güldal S,YAVAS M A NEW RESAMPLING APPROACH BASED ON WEIGHTED GEOMETRIC MEAN FOR UNBALANCED DATA. Adıyaman Üniversitesi Mühendislik Bilimleri Dergisi. 2021; 8(15): 343 - 352. 10.54365/adyumbd.940539
IEEE DAL A,gumus i,Güldal S,YAVAS M "A NEW RESAMPLING APPROACH BASED ON WEIGHTED GEOMETRIC MEAN FOR UNBALANCED DATA." Adıyaman Üniversitesi Mühendislik Bilimleri Dergisi, 8, ss.343 - 352, 2021. 10.54365/adyumbd.940539
ISNAD DAL, Abdullah vd. "A NEW RESAMPLING APPROACH BASED ON WEIGHTED GEOMETRIC MEAN FOR UNBALANCED DATA". Adıyaman Üniversitesi Mühendislik Bilimleri Dergisi 8/15 (2021), 343-352. https://doi.org/10.54365/adyumbd.940539