Twitter’da COVID-19 aşılarına karşı kamu duyarlılığının çoğunluk oylama sınıflandırıcısı temelli makine öğrenmesi ile duygu analizi

Cihan ÇILGIN, (Department of Management Information Systems, Faculty of Applied Sciences, Bolu Abant İzzet Baysal University, Bolu, Türkiye)
Hadi GÖKÇEN, (Department of Industrial Engineering, Engineering Faculty, Gazi University, Ankara, Türkiye)
Yılmaz GÖKŞEN (Department of Management Information Systems, Faculty of Economics and Administrative Sciences, Dokuz Eylül University, İzmir, Türkiye)
Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi
1 2
Yıl: 2023 Cilt: 38 Sayı: 2 Sayfa Aralığı: 1093 - 1104 Metin Dili: Türkçe DOI: 10.17341/gazimmfd.1030198 İndeks Tarihi: 13-03-2023

Twitter’da COVID-19 aşılarına karşı kamu duyarlılığının çoğunluk oylama sınıflandırıcısı temelli makine öğrenmesi ile duygu analizi

Öz:
Dünyada milyarlarca kullanıcısı bulunan sosyal medya platformlarının yükselişiyle birlikte bilginin yayılması her zamankinden daha kolay hale gelmiştir. COVID-19 pandemisi aşılar da dâhil olmak üzere birçok konunun tartışılmasında sosyal medya kullanımını artırmıştır. Bu çalışmanın amacı, Türkiye’de, özellikle sosyal medya kullanıcılarının COVID-19 aşılarına ilişkin tutumunu ve endişelerini daha iyi anlamak adına Twitter üzerinde elde edilen aşıyla ilgili tweetlerin makine öğrenmesi ile kamu duyarlılığını analiz etmektir. Bu amaç doğrultusunda çalışma altı farklı sınıflandırma görevinde kullanılan makine öğrenmesi algoritması karşılaştırılarak en yüksek doğruluk oranına sahip Destek Vektör Makinesi, XGBoost ve Rastgele Orman ile bir kolektif öğrenme yöntemi olan çoğunluk oylama yöntemi geliştirilmiştir. Çoğunluk oylama yöntemlerinde birisi olan Yumuşak Oylama yöntemi hem Sert Oylama yaklaşımdan hem de bireysel diğer altı makine öğrenmesi yaklaşımlarından daha yüksek başarı oranı ile %90,5 başarı oranına ulaşmıştır. En yüksek doğruluk oranına sahip olan Yumuşak Oylama yöntemi ile Twitter’dan elde edilen 153 güne ait 412.588 adet günlük tweet analiz edilerek sonuçlar raporlanmıştır. Çalışmanın bulguları son derece çarpıcı olup, diğer ülkeler üzerine yapılan çalışmalardan da farklılık göstermektedir. Bu çalışma bildiğimiz kadarıyla Türkiye’de COVID-19 aşılarına yönelik duygu analizi gerçekleştiren ilk çalışma olmakla birlikte sosyal medya üzerinden duygu analizi yaklaşımıyla COVID-19 aşılarına ilişkin duyarlılığı izlemek için değerli ve kolayca uygulanan bir araç olduğunu göstermektedir.
Anahtar Kelime: aşı COVID-19 duygu analizi çoğunluk oylama sınıflandırıcısı makine öğrenmesi

Sentiment analysis of public sensitivity to COVID-19 vaccines on twitter by majority voting classifier-based machine learning

Öz:
With the rise of social media platforms, which have billions of users around the World, the dissemination of information has become easier than ever. The COVID-19 pandemic has increased the use of social media to discuss many topics, including vaccines. The aim of this study is to analyze public sentiment with Machine Learning of vaccine-related tweets obtained on Twitter in order to better understand the attitudes and concerns of social media users, especially regarding COVID-19 vaccines in Turkey. For this purpose, the majority voting method, which is an ensemble learning method, was developed by comparing the machine learning algorithm used in six different classification tasks and then via Support Vector Machine, XGBoost and Random Forest having the highest accuracy, in the study. Soft Voting method, which is one of the majority voting methods, has reached a success rate of 90.5%, with a higher success rate than both the Hard Voting approach and the other six individual machine learning approaches. With the Soft Voting method, which has the highest accuracy rate, 412,588 daily tweets from 153 days obtained from Twitter were analyzed and the results were reported. The findings of the study are very striking and differ from studies on other countries. As far as we know, this study is the first study to perform sentiment analysis on COVID-19 vaccines in Turkey, and it shows that it is a valuable and easily applied tool to monitor sensitivity to COVID-19 vaccines with sentiment analysis approach over social media.
Anahtar Kelime: COVID-19 vaccine sentiment analysis majority voting classifier machine learning

Belge Türü: Makale Makale Türü: Araştırma Makalesi Erişim Türü: Erişime Açık
  • Wang, D., Hu, B., Hu, C., Zhu, F., Liu, X., Zhang, J., Wang, B., Xiang, H., Cheng, Z., Xiong, Y., Zhao, Y., Li, Y., Wang, X. and Peng, Z., Clinical characteristics of 138 hospitalized patients with 2019 novel coronavirus–infected pneumonia in Wuhan, China, Jama, 323 (11), 1061-1069, 2020.
  • Zheng, Y. Y., Ma, Y. T., Zhang, J. Y. and Xie, X., COVID-19 and the cardiovascular system, Nature Reviews Cardiology, 17 (5), 259-260, 2020.
  • Machingaidze, S., & Wiysonge, C. S., Understanding COVID-19 vaccine hesitancy, Nature Medicine, 27 (8), 1338-1339, 2021.
  • Horder, J., Toll of vaccine hesitancy, Nature human behaviour, 4 (4), 335-335, 2020.
  • Lyu, J. C., Le Han, E., & Luli, G. K., COVID-19 vaccine–related discussion on Twitter: topic modeling and sentiment analysis, Journal of medical Internet research, 23 (6), e24435, 2021.
  • Doğan, M. M., & Düzel, B., Fear-anxiety levels specific to Covid-19, Electronic Turkish Studies, 15 (4), 739-752, 2020.
  • Kadkhoda, K., Herd Immunity to COVID-19: Alluring and Elusive, American Journal of Clinical Pathology, 155 (4), 471–472, 2021.
  • Hussain, A., Ali, S., Ahmed, M., & Hussain, S., The anti-vaccination movement: a regression in modern medicine, Cureus, 10 (7), 2018.
  • Bonnevie, E., Gallegos-Jeffrey, A., Goldbarg, J., Byrd, B., & Smyser, J., Quantifying the rise of vaccine opposition on Twitter during the COVID-19 pandemic, Journal of communication in healthcare, 14 (1), 12-19, 2021.
  • Dean, B., Social network usage & growth statistics: How many people use social media in 2021, Published August, 12, 2020.
  • Öztürk, N., & Ayvaz, S., Sentiment analysis on Twitter: A text mining approach to the Syrian refugee crisis, Telematics and Informatics, 35 (1), 136-147, 2018.
  • Fung, I. C. H., Fu, K. W., Ying, Y., Schaible, B., Hao, Y., Chan, C. H. and Tse, Z. T. H., Chinese social media reaction to the MERS-CoV and avian influenza A (H7N9) outbreaks, Infectious diseases of poverty, 2 (1), 31, 2013.
  • Chew, C. and Eysenbach, G., Pandemics in the age of Twitter: content analysis of Tweets during the 2009 H1N1 outbreak, PloS one, 5 (11), e14118, 2010.
  • Noor, S., Guo, Y., Shah, S. H. H., Fournier-Viger, P., & Nawaz, M. S., Analysis of public reactions to the novel Coronavirus (COVID-19) outbreak on Twitter, Kybernetes, 2020.
  • Yousefinaghani, S., Dara, R., Mubareka, S., Papadopoulos, A., & Sharif, S., An Analysis of COVID-19 Vaccine Sentiments and Opinions on Twitter, International Journal of Infectious Diseases, 108, 256-262, 2021.
  • Muric, G., Wu, Y., & Ferrara, E., COVID-19 Vaccine Hesitancy on Social Media: Building a Public Twitter Dataset of Anti-vaccine Content, Vaccine Misinformation and Conspiracies, arXiv preprint arXiv:2105.05134, 2021.
  • Marcec, R., & Likic, R., Using Twitter for sentiment analysis towards AstraZeneca/Oxford, Pfizer/BioNTech and Moderna COVID-19 vaccines. Postgraduate Medical Journal, Published Online First: 09 August 2021, 2021.
  • Hussain, A., Tahir, A., Hussain, Z., Sheikh, Z., Gogate, M., Dashtipour, K., ... & Sheikh, A., Artificial intelligence–enabled analysis of public attitudes on facebook and twitter toward covid-19 vaccines in the united kingdom and the united states: Observational study, Journal of medical Internet research, 23 (4), e26627, 2021.
  • Dubey, A. D., Twitter Sentiment Analysis during COVID-19 Outbreak, Available at SSRN 3572023, 2020.
  • Bhat, M., Qadri, M., Noor-ul-Asrar Beg, M. K., Ahanger, N., & Agarwal, B., Sentiment analysis of social media response on the Covid19 outbreak, Brain, Behavior, and Immunity, 87, 136, 2020.
  • Manguri, K. H., Ramadhan, R. N., & Amin, P. R. M., Twitter sentiment analysis on worldwide COVID-19 outbreaks, Kurdistan Journal of Applied Research, 54-65, 2020.
  • Rustam, F., Khalid, M., Aslam, W., Rupapara, V., Mehmood, A., & Choi, G. S., A performance comparison of supervised machine learning models for Covid-19 tweets sentiment analysis, Plos one, 16 (2), e0245909, 2021.
  • Thelwall, M., Kousha, K., & Thelwall, S., Covid-19 vaccine hesitancy on English-language Twitter, Profesional de la información (EPI), 30 (2), 1-13, 2021.
  • Zhang, J., Wang, Y., Shi, M., & Wang, X., Factors Driving the Popularity and Virality of COVID-19 Vaccine Discourse on Twitter: Text Mining and Data Visualization Study, JMIR Public Health and Surveillance, 7 (12), 1-13, 2021.
  • Kwok, S. W. H., Vadde, S. K., & Wang, G., Tweet topics and sentiments relating to COVID-19 vaccination among Australian Twitter users: Machine learning analysis, Journal of medical Internet research, 23 (5), e26953, 2021.
  • Villavicencio, C., Macrohon, J. J., Inbaraj, X. A., Jeng, J. H., & Hsieh, J. G., Twitter Sentiment Analysis towards COVID-19 Vaccines in the Philippines Using Naïve Bayes, Information, 12 (5), 204, 1-16, 2021.
  • Fazel, S., Zhang, L., Javid, B., Brikell, I., & Chang, Z., Harnessing Twitter data to survey public attention and attitudes towards COVID-19 vaccines in the UK. Scientific reports, 11 (1), 1-5, 2021.
  • Niu, Q., Liu, J., Nagai-Tanima, M., Aoyama, T., Masaya, K., Shinohara, Y., & Matsumura, N., Public Opinion and Sentiment Before and at the Beginning of COVID-19 Vaccinations in Japan: Twitter Analysis, medRxiv, 2021.
  • Nezhad, Z. B., & Deihimi, M. A., Twitter sentiment analysis from Iran about COVID 19 vaccine, Diabetes & Metabolic Syndrome: Clinical Research & Reviews, 16 (1), 1-5, 2022.
  • De Vel, O., Mining e-mail authorship, In Proc. Workshop on Text Mining, ACM International Conference on Knowledge Discovery and Data Mining (KDD’2000), Boston Massachusetts-USA, August, 2000.
  • Yun-tao, Z., Ling, G., & Yong-cheng, W., An improved TF-IDF approach for text classification, Journal of Zhejiang University-Science A, 6 (1), 49-55, 2005.
  • Güran A., Ateş E., Pearson correlation and Granger causality analysis of Twitter sentiments and the daily changes in Bist30 index returns, Journal of the Faculty of Engineering And Architecture of Gazi University, 36 (3), 1687-1702, 2021.
  • Ritchie, H., Mathieu, E., Rodés-Guirao, L., Appel, C., Giattino, C., Ortiz-Ospina, E., ... & Roser, M., Coronavirus pandemic (COVID-19), Our World in Data, 2020.
  • Akın, M. D., & Akın, A. A., An Open Source Natural Language Processing Library for Turkic Languages: Zemberek, Electrical Engineering, 431, 38-44, 2007.
  • Trstenjak, B., Mikac, S., & Donko, D., KNN with TF-IDF based framework for text categorization, Procedia Engineering, 69, 1356- 1364, 2014.
  • McCallum, A., & Nigam, K, A comparison of event models for naive bayes text classification, In AAAI-98 workshop on learning for text categorization, 752 (1), 41-48, July, 1998.
  • Frank, E., & Bouckaert, R. R., Naive bayes for text classification with unbalanced classes, In European Conference on Principles of Data Mining and Knowledge Discovery, Springer, Berlin-Germany, 503-510, September, 2006.
  • Kim, S. B., Han, K. S., Rim, H. C., & Myaeng, S. H., Some effective techniques for naive bayes text classification, IEEE transactions on knowledge and data engineering, 18 (11), 1457-1466, 2006.
  • Géron, A., Hands-on machine learning with scikit-learn and tensorflow: Concepts. Tools, and Techniques to build intelligent systems, 2017.
  • Dönmez İ., Aslan Z., Document Sentiment classification using hybrid wavelet methodologies, Journal of the Faculty of Engineering And Architecture of Gazi University, 36 (2), 701-714, 2021.
  • Vapnik, V., The nature of statistical learning theory, Springer science & business media, 2013.
  • Lin, Y., & Wang, J., Research on text classification based on SVM- KNN, In 2014 IEEE 5th International Conference on Software Engineering and Service Science, IEEE, Beijing- China, 842-844, June, 2014
  • Huq, M. R., Ali, A., & Rahman, A., Sentiment analysis on Twitter data using KNN and SVM, International Journal of Advanced Computer Science and Applications, 8 (6), 19-25, 2017.
  • Colas, F., & Brazdil, P., Comparison of SVM and some older classification algorithms in text classification tasks, In IFIP International Conference on Artificial Intelligence in Theory and Practice, Springer, 169-178, Boston-USA, August, 2006.
  • Han, J., Pei, J., & Kamber, M, Data mining: concepts and techniques, Elsevier, 2011.
  • Indra, S. T., Wikarsa, L., & Turang, R., Using logistic regression method to classify tweets into the selected topics, In 2016 International Conference on Advanced Computer Science and Information Systems (ICACSIS), IEEE, 385-390, Malang- Indonesia, October, 2016.
  • Prabhat, A., & Khullar, V., Sentiment classification on big data using Naïve Bayes and logistic regression, In 2017 International Conference on Computer Communication and Informatics (ICCCI), IEEE ,1-5, Coimbatore- India, January, 2017
  • Salazar, D. A., Vélez, J. I., & Salazar, J. C., Comparison between SVM and logistic regression: Which one is better to discriminate?, Revista Colombiana de Estadística, 35 (SPE2), 223-237, 2012.
  • Hota, S., & Pathak, S., KNN classifier based approach for multi-class sentiment analysis of twitter data, International Journal of Engineering & Technology, 7 (3), 1372-1375, 2018.
  • Bilal, M., Israr, H., Shahid, M., & Khan, A., Sentiment classification of Roman-Urdu opinions using Naïve Bayesian, Decision Tree and KNN classification techniques, Journal of King Saud University-Computer and Information Sciences, 28 (3), 330-344, 2016.
  • Chen, T. ve Guestrin, C., XGBoost: “A Scalable Tree Boosting System”, Proceedings of the 22nd Acm Sigkdd International Conference on Knowledge Discovery And Data Mining, 785-794, San Francisco California-USA, August, 2016
  • Zhao, Y., Chetty, G., & Tran, D, Deep Learning with XGBoost for Real Estate Appraisal, In 2019 IEEE Symposium Series on Computational Intelligence (SSCI), IEEE, 1396-1401, Xiamen- China, December, 2019
  • Liang, Y., Wu, J., Wang, W., Cao, Y., Zhong, B., Chen, Z., & Li, Z., Product marketing prediction based on XGboost and LightGBM algorithm, In Proceedings of the 2nd International Conference on Artificial Intelligence and Pattern Recognition, 150-153, Beijing-China, August, 2019
  • Breiman, L., Random forests, Machine learning, 45 (1), 5-32, 2001.
  • Ho, T. K., Random decision forests, In Proceedings of 3rd International Conference on Document Analysis And Recognition, IEEE, 278-282, Montreal, Canada, August, 1995
  • Fauzi, M. A., Random Forest Approach for Sentiment Analysis in Indonesian, Indonesian Journal of Electrical Engineering and Computer Science, 12 (1), 46-50, 2018
  • Gupte, A., Joshi, S., Gadgul, P., Kadam, A., & Gupte, A., Comparative study of classification algorithms used in sentiment analysis, International Journal of Computer Science and Information Technologies, 5 (5), 6261-6264, 2014.
  • Da Silva, N.F., Hruschka, E. R., & Hruschka Jr, E.R., Tweet sentiment analysis with classifier ensembles, Decision Support Systems, 66, 170- 179, 2014
  • Ruta, D., & Gabrys, B., Classifier selection for majority voting, Information fusion, 6 (1), 63-81, 2005
  • Gandhi, I., & Pandey, M., Hybrid ensemble of classifiers using voting, In 2015 international conference on green computing and Internet of Things (ICGCIoT), IEEE, 399-404, Greater Noida-India, October, 2015.
  • Amr, T., Hands-On Machine Learning with scikit-learn and Scientific Python Toolkits: A practical guide to implementing supervised and unsupervised machine learning algorithms in Python, Packt Publishing, Limited, 2020.
  • Géron, A., Hands-on machine learning with Scikit-Learn, Keras, and TensorFlow: Concepts, tools, and techniques to build intelligent systems, O'Reilly Media, 2019.
  • Cavnar, W. B., & Trenkle, J. M., N-gram-based text categorization, In Proceedings of SDAIR-94, 3rd annual symposium on document analysis and information retrieval, Las Vegas-USA, April, 1994
  • Ansari, M. T. J., & Khan, N. A., Worldwide COVID-19 Vaccines Sentiment Analysis Through Twitter Content. Electronic Journal of General Medicine, 18 (6), 1-10, 2021.
  • Nwafor, E., Vaughan, R., & Kolimago, C., Covid Vaccine Sentiment Analysis by Geographic Region, In 2021 IEEE International Conference on Big Data, IEEE, 4401-4404, Jeju Island-Korea, December, 2021.
APA Cilgin C, GOKCEN H, Gökşen Y (2023). Twitter’da COVID-19 aşılarına karşı kamu duyarlılığının çoğunluk oylama sınıflandırıcısı temelli makine öğrenmesi ile duygu analizi. , 1093 - 1104. 10.17341/gazimmfd.1030198
Chicago Cilgin Cihan,GOKCEN Hadi,Gökşen Yılmaz Twitter’da COVID-19 aşılarına karşı kamu duyarlılığının çoğunluk oylama sınıflandırıcısı temelli makine öğrenmesi ile duygu analizi. (2023): 1093 - 1104. 10.17341/gazimmfd.1030198
MLA Cilgin Cihan,GOKCEN Hadi,Gökşen Yılmaz Twitter’da COVID-19 aşılarına karşı kamu duyarlılığının çoğunluk oylama sınıflandırıcısı temelli makine öğrenmesi ile duygu analizi. , 2023, ss.1093 - 1104. 10.17341/gazimmfd.1030198
AMA Cilgin C,GOKCEN H,Gökşen Y Twitter’da COVID-19 aşılarına karşı kamu duyarlılığının çoğunluk oylama sınıflandırıcısı temelli makine öğrenmesi ile duygu analizi. . 2023; 1093 - 1104. 10.17341/gazimmfd.1030198
Vancouver Cilgin C,GOKCEN H,Gökşen Y Twitter’da COVID-19 aşılarına karşı kamu duyarlılığının çoğunluk oylama sınıflandırıcısı temelli makine öğrenmesi ile duygu analizi. . 2023; 1093 - 1104. 10.17341/gazimmfd.1030198
IEEE Cilgin C,GOKCEN H,Gökşen Y "Twitter’da COVID-19 aşılarına karşı kamu duyarlılığının çoğunluk oylama sınıflandırıcısı temelli makine öğrenmesi ile duygu analizi." , ss.1093 - 1104, 2023. 10.17341/gazimmfd.1030198
ISNAD Cilgin, Cihan vd. "Twitter’da COVID-19 aşılarına karşı kamu duyarlılığının çoğunluk oylama sınıflandırıcısı temelli makine öğrenmesi ile duygu analizi". (2023), 1093-1104. https://doi.org/10.17341/gazimmfd.1030198
APA Cilgin C, GOKCEN H, Gökşen Y (2023). Twitter’da COVID-19 aşılarına karşı kamu duyarlılığının çoğunluk oylama sınıflandırıcısı temelli makine öğrenmesi ile duygu analizi. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, 38(2), 1093 - 1104. 10.17341/gazimmfd.1030198
Chicago Cilgin Cihan,GOKCEN Hadi,Gökşen Yılmaz Twitter’da COVID-19 aşılarına karşı kamu duyarlılığının çoğunluk oylama sınıflandırıcısı temelli makine öğrenmesi ile duygu analizi. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi 38, no.2 (2023): 1093 - 1104. 10.17341/gazimmfd.1030198
MLA Cilgin Cihan,GOKCEN Hadi,Gökşen Yılmaz Twitter’da COVID-19 aşılarına karşı kamu duyarlılığının çoğunluk oylama sınıflandırıcısı temelli makine öğrenmesi ile duygu analizi. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, vol.38, no.2, 2023, ss.1093 - 1104. 10.17341/gazimmfd.1030198
AMA Cilgin C,GOKCEN H,Gökşen Y Twitter’da COVID-19 aşılarına karşı kamu duyarlılığının çoğunluk oylama sınıflandırıcısı temelli makine öğrenmesi ile duygu analizi. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi. 2023; 38(2): 1093 - 1104. 10.17341/gazimmfd.1030198
Vancouver Cilgin C,GOKCEN H,Gökşen Y Twitter’da COVID-19 aşılarına karşı kamu duyarlılığının çoğunluk oylama sınıflandırıcısı temelli makine öğrenmesi ile duygu analizi. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi. 2023; 38(2): 1093 - 1104. 10.17341/gazimmfd.1030198
IEEE Cilgin C,GOKCEN H,Gökşen Y "Twitter’da COVID-19 aşılarına karşı kamu duyarlılığının çoğunluk oylama sınıflandırıcısı temelli makine öğrenmesi ile duygu analizi." Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, 38, ss.1093 - 1104, 2023. 10.17341/gazimmfd.1030198
ISNAD Cilgin, Cihan vd. "Twitter’da COVID-19 aşılarına karşı kamu duyarlılığının çoğunluk oylama sınıflandırıcısı temelli makine öğrenmesi ile duygu analizi". Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi 38/2 (2023), 1093-1104. https://doi.org/10.17341/gazimmfd.1030198
Sayfa Oluşturulma Tarihi
24-04-2024 6:6

İLETİŞİM

TÜBİTAK ULAKBİM TR Dizin

Yüzüncüyıl, İşçi Blokları Mahallesi

Muhsin Yazıcıoğlu Caddesi No:51/C

06530 Çankaya / ANKARA +90 (312) 298 92 00

trdizin@tubitak.gov.tr

TÜBİTAK ULAKBİM Ulusal Akademik Ağ ve Bilgi Merkezi Cahit Arf Bilgi Merkezi © Tüm Hakları Saklıdır. Gizlilik Politikası Kullanım Şartları