Göz izleme verilerine bağlı olarak zihinsel iş yükünü sınıflandırmada makine öğrenmesi algoritmalarının kullanılması
Yıl: 2023 Cilt: 38 Sayı: 2 Sayfa Aralığı: 1027 - 1040 Metin Dili: Türkçe DOI: 10.17341/gazimmfd.1049979 İndeks Tarihi: 13-03-2023
Göz izleme verilerine bağlı olarak zihinsel iş yükünü sınıflandırmada makine öğrenmesi algoritmalarının kullanılması
Öz: Bu çalışmada, göz izleme verilerine bağlı olarak zihinsel iş yükünü sınıflandırmada makine öğrenmesi algoritmalarının kullanması amaçlanmıştır. Dört katılımcının (iki kadın ve iki erkek), farklı düzeylerde zihinsel iş yükünün ölçülebilmesi için N-geri hafıza görevi ve NASA-Task Load Index (TLX) öznel değerlendirme ölçeği kullanılmıştır. Bağımsız değişkenler olarak 27 göz izleme parametresi seçilmiş ve çıktı değişkeni N-geri hafıza zorluk seviyesi sınıflandırılmıştır. Bu deneyler sonucunda, bu çalışmada ele alınan hemen hemen tüm göz izleme parametrelerinin hem ağırlıklı NASA-TLX toplam skoru hem de N-geri hafıza görevi zorluk seviyesi ile anlamlı olarak ilişkili olduğu ortaya çıkmıştır. Görev zorluğu arttıkça göz bebeği boyutu, seğirme sayısı, göz kırpma sayısı ve göz kırpma süresi artarken sabitleme süresi ile ilgili değişkenlerin ise azaldığı gözlenmiştir. İki sınıflı bir sınıflandırma problemi için elde edilen sonuçlar incelendiğinde, girdi olarak 27 göz izleme özelliği ve LightGBM algoritması ile % 84 doğruluğa ulaşılmıştır. Dört sınıflı bir sınıflandırma problemi kapsamında veri kümesinin karmaşıklığının artmasıyla ancak %65 doğruluğa ulaşılabilmiştir. Girdi değişkenlerinin çıktı değişkeninin belirlenmesine ne derece katkıda bulunduğunu belirlemek için gradyan artırma makineleri (GBM) algoritması kullanılarak bir duyarlılık analizi yapılmış ve sol göz bebeği çapı ortalamasının N-geri hafıza zorluk seviyesinin sınıflandırılmasında en etkili parametre olduğu görülmüştür. Çalışma sonuçları, göz izleme ölçümlerinin zihinsel iş yükünün sınıflandırılmasında önemli bir rol oynadığını göstermektedir.
Anahtar Kelime: A machine learning approach to classify mental workload based on eye tracking data
Öz: The primary objective of this study was to develop machine learning algorithms for classifying mental workload using eye tracking data. Four participants (two females and two males) performed the N-Back memory task and National Aeronautics and Space Administration-task load index (NASA-TLX) to induce different levels of mental workload. Twenty-seven eye tracking metrics were selected as independent variables. One output variable reflecting the difficulty level of N-Back memory was classified As a result of these experiments, it was revealed that almost all eye tracking metrics considered in this study were significantly correlated to both weighted NASA-TLX total score and N-Back memory task difficulty level. As the task difficulty increased, pupil diameter, number of saccades, number of blinks, and blink duration increased, while fixation duration decreased. The results obtained for the two classes of classification problem reached the accuracy of 68% with 14 eye-tracking features due to problem complexity. The results obtained for the two classes of classification problem reached the accuracy of 84% with 27 eye-tracking features as input and the LightGBM algorithm. To determine the degree to which the input variables contribute to the determination of the output variable, a sensitivity analysis was conducted using the gradient boosting machines (GBM) algorithm. The left eye pupil diameter was found to be the most effective metric in the classification of the task difficulty level. The results from the analysis indicate that eye tracking metrics play an important role in the classification of mental workload.
Anahtar Kelime: Belge Türü: Makale Makale Türü: Araştırma Makalesi Erişim Türü: Erişime Açık
- Bommer S. & Fendley M., A theoretical framework for evaluating mental workload resources in human systems design for manufacturing operations, International Journal of Industrial Ergonomics, doi: 63. 10.1016/j.ergon.2016.10.007, 2016.
- Galy E., Cariou M., Mélan C., What is the relationship between mental workload factors and cognitive load types?, International Journal of Psychophysiology, 83(3), 269-275, 2012.
- DiDomenico A. & Nussbaum M., Effects of different physical workload parameters on mental workload and performance, International Journal of Industrial Ergonomics, 41(3), 255-260, 2011.
- Rusnock C. & Borghetti B., McQuaid, I., Objective-Analytical Measures of Workload – the Third Pillar of Workload Triangulation?, 124-135, 2015.
- Puma S., Matton N., Paubel P.V., Raufaste E., Yagoubi R., Using theta and alpha band power to assess cognitive workload in multitasking environments, International journal of psychophysiology : official journal of the International Organization of Psychophysiology, 123, doi:10.1016/j.ijpsycho.2017.10.004, 2017.
- Di Stasi L. L., Antolí A., Gea M., Cañas J. J., A neuroergonomic approach to evaluating mental workload in hypermedia interactions, International Journal of Industrial Ergonomics, 41(3), 298-304, 2011.
- Tjolleng A., Jung K., Hong W., Lee W., Lee B., You H., Son H., Park S., Classification of a Driver's cognitive workload levels using artificial neural network on ECG signals, Applied Ergonomics, 59, 326-332, 2017.
- Dirican A.C. & Göktürk M., Psychophysiological measures of human cognitive states applied in human computer interaction, Procedia Computer Science, 3, 1361-1367, 2011.
- Chen S. & Epps J., Automatic classification of eye activity for cognitive load measurement with emotion interference, Computer Methods and Programs in Biomedicine, 110(2), 111-124, 2013.
- Borys M., Plechawska-Wojcik M., Wawrzyk M., Wesołowska K.., Classifying Cognitive Workload Using Eye Activity and EEG Features in Arithmetic Tasks, doi: 10.1007/978-3-319-67642-5_8, 2017.
- Liu Y., Ayaz H. , Shewokis P. A., Multisubject “Learning” for Mental Workload Classification Using Concurrent EEG, fNIRS, and Physiological Measures. Frontiers in Human Neuroscience, 11(389), 2017.
- Choi M. K., Lee S. M., Ha J. S., Seong P. H., Development of an EEG-based workload measurement method in nuclear power plants, Annals of Nuclear Energy, Volume 111, 595-607, 2018.
- Hart S. G. & Staveland L. E. Development of NASA-TLX (Task Load Index): Results of Empirical and Theoretical Research. http://wayback.archive-it.org/1792/20100206083836/http://ntrs.nasa.gov/archive/nasa/casi.ntrs.nasa.gov/20000004342_1999205624.pdf. Erişim tarihi Eylül 15, 2021.
- Nakayama M., Takahashi K., Shimizu Y., The act of task difficulty and eye-movement frequency for the 'Oculo-motor indices', 37-42, 2002.
- Benedetto S., Pedrotti M., Minin L., Baccino T., Re A., Montanari R., Driver workload and eye blink duration. Transportation Research Part F: Traffic Psychology and Behaviour, 14, 199-208, 2011.
- Gao Q., Wang Y., Song F., Li Z., Dong X., Mental workload measurement for emergency operating procedures in digital nuclear power plants, Ergonomics, 56, 1070-1085, 2013.
- Tran C., Yan S., Habiyaremye J., Wei Y., Predicting Driver’s Work Performance in Driving Simulator Based on Physiological Indices, 150-162, 2017.
- Wanyan X., Zhuang D., Lin Y., Xiao X., Song J.W., Influence of mental workload on detecting information varieties revealed by mismatch negativity during flight simulation, International Journal of Industrial Ergonomics, 64, 1-7, 2018.
- Hampson R., Opris I., Deadwyler S., Neural Correlates of Fast Pupil Dilation in Nonhuman Primates: Relation to Behavioral Performance and Cognitive Workload, Behavioural brain research, 212, 1-11, 2010.
- Reiner M. & Gelfeld T.M., Estimating mental workload through event-related fluctuations of pupil area during a task in a virtual world, International Journal of Psychophysiology, 93(1), 38-44, 2014.
- Huang W., Xu Y., Hildebrandt M., Lau N., Comparing Eye-Gaze Metrics of Mental Workload in Monitoring Process Plants, 2019.
- Marchitto M., Benedetto S., Baccino T., Cañas J., Air traffic control: Ocular metrics reflect cognitive complexity, International Journal of Industrial Ergonomics, 54, 120-130, 2016.
- Evans D.C. & Fendley M., A multi-measure approach for connecting cognitive workload and automation, International Journal of Human-Computer Studies, 97, 182-189, 2017.
- Keskin M.V.. (2020) Python ile Makine Öğrenmesi (Machine Learning). [Çevrimiçi Eğitim] https://www.udemy.com/course/python-ile-makine-ogrenmesi/. Erişim tarihi Nisan 15, 2021.
- Plechawska-Wojcik M., Tokovarov M., Kaczorowska M., Zapała D., A Three-Class Classification of Cognitive Workload Based on EEG Spectral Data, Applied Sciences, 9 (24), 5340, 2019.
- Vapnik N.V., Chervonenkis A.Y., The necessary and sufficient conditions for consistency in the empirical risk minimization method, Pattern Recognition and Image Analysis, 1 (3), 283-305, 1991.
- Gökdemir A., Çalhan A., Deep learning and machine learning based anomaly detection in internet of things environments, Journal of the Faculty of Engineering and Architecture of Gazi University, 37 (4), 1945-1956, 2022.
- Benerradi J., Maior H., Marinescu A., Clos J., Wilson M., Exploring Machine Learning Approaches for Classifying Mental Workload using fNIRS Data from HCI Tasks, Proceedings of the Halfway to the Future Symposium, 1-11, 2019.
- Kaczorowska M., Wawrzyk M., Plechawska-Wojcik M., Binary Classification of Cognitive Workload Levels with Oculography Features, International Conference on Computer Information Systems and Industrial Management, Bialystok-Poland, 243-254, October 16-18, 2020.
- Datlica M.T., Çakıt E., Estimation of clustering parameters and anomaly detection in tracking devices with changeable position time, Journal of the Faculty of Engineering and Architecture of Gazi University, 36 (1), 373-394, 2021.
- Çakıt E., Durgun B., Cetik O., A neural network approach for assessing the relationship between grip strength and hand anthropometry, Neural Network World, 25 (6), 603, 2015.
- Çakıt E., Karwowski W., Understanding the social and economic factors affecting adverse events in an active theater of war: a neural network approach, International Conference on Applied Human Factors and Ergonomics, Los Angeles-USA, 215-223, July 17-21, 2017.
- Çakıt E., Karwowski W., Estimating electromyography responses using an adaptive neuro fuzzy inference system with subtractive clustering, Human Factors and Ergonomics in Manufacturing & Service Industries, 27 (4), 177-186, 2017.
- Wu Y., Liu Z., Jia M., Congchi T., Yan S., Using Artificial Neural Networks for Predicting Mental Workload in Nuclear Power Plants Based on Eye Tracking, Nuclear Technology, 206 (1), 94-106, 2020.
- Yan S., Wei Y., Tran C.C., Evaluation and prediction mental workload in user interface of maritime operations using eye response, International Journal of Industrial Ergonomics, 71, 117-127, 2019.
- Duru A.D., Determination of Increased Mental Workload Condition From EEG by the Use of Classification Techniques, International Journal of Advances in Engineering and Pure Sciences, 31 (1), 47-52, 2019.
- Smith A.M., Borghetti B.J., Rusnock C.F., Improving Model Cross- Applicability for Operator Workload Estimation, Proceedings of the Human Factors and Ergonomics Society Annual Meeting, Los Angeles- USA, 681-685, September, 2015.
- Borghetti B.J., Giametta J.J., Rusnock C.F., Assessing Continuous Operator Workload with a Hybrid Scaffolded Neuroergonomic Modeling Approach, Human Factors, 59 (1), 134-146, 2017.
- Friedman J., Greedy function approximation: A gradient boosting machine, Annals of Statistics, 29, 1189-1232, 2001.
- Muratlar E.R., Gradient Boosted Regresyon Ağaçları. https://www.veribilimiokulu.com/gradient-boosted-regresyon-agaclari/. Yayın tarihi Ocak 24, 2020. Erişim tarihi Mayıs 10, 2021.
- Chen T., Guestrin C., XGBoost: A Scalable Tree Boosting System, International Conference on Knowledge Discovery and Data Mining, San Francisco-USA, 785-794, August 13-17, 2016.
- Çakıt E., Dağdeviren M., Predicting the percentage of student placement: A comparative study of machine learning algorithms, Education and Information Technologies, 27 (1), 997-1022, 2022.
- Üstüner M., Abdikan S., Bilgin G., Şanlı F.B., Hafif Gradyan Artırma Makineleri ile Tarımsal Ürünlerin Sınıflandırılması, Turkish Journal of Remote Sensing and GIS, 1 (2), 97-105, 2020.
- Wang C., Guo J., A data-driven framework for learners’ cognitive load detection using ECG-PPG physiological feature fusion and XGBoost classification, Procedia Computer Science, 147, 338-348, 2019.
- Ke G., Meng Q., Finley T., Wang T., Chen W., Ma W., Ye Q., Liu T., LightGBM: a highly efficient gradient boosting decision tree, Proceedings of Advances in Neural Information Processing Systems (NIP 17), Curran Associates Inc., Red Hook, NY, USA, 3146–3154, 2017.
- Zeng H., Yang C., Zhang H., Wu Z., Zhang J., Dai G., Babiloni F., Kong W., A LightGBM-Based EEG Analysis Method for Driver Mental States Classification, Computational Intelligence and Neuroscience, 1-11, 2019.
- Mark J., Curtin A., Kraft A., Sands T., Casebeer W., Ziegler M., Ayaz H., Eye Tracking-Based Workload and Performance Assessment for Skill Acquisition, International Conference on Applied Human Factors and Ergonomics, Washington D.C. – USA, 129-141, July 24-28, 2020.
- Borys M., Tokovarov M., Wawrzyk M., Wesolowska K., Plechawska- Wojcik M., Dmytruk R., Kaczorowska M., An analysis of eye-tracking and electroencephalography data for cognitive load measurement during arithmetic tasks, Bucharest – Romania, 287-292, March 23-25, 2017.
- Millisecond Software. Inquisit by Millisecond. https://www.millisecond.com/. Erişim tarihi Eylül 15, 2021.
- Ke Y., Qi H., Zhang L., Chen S., Jiao X., Zhou P., Zhao X., Wan B., Ming D., Towards an effective cross-task mental workload recognition model using electroencephalography based on feature selection and support vector machine regression, International Journal of Psychophysiology, 98 (2), 157–166, 2015.
- Tobii X2-60 Eye Tracker. https://www.tobiipro.com/. Stockholm, Sweden: Tobii Pro. Erişim tarihi Ağustos 21, 2021.
- Ahlstrom U., Friedman-Berg F.J., Using Eye Movement Activity as A Correlate of Cognitive Workload, International Journal of Industrial Ergonomics, 36 (7), 623-636, 2006.
- Naveed S., Sikander B., Khiyal M.S.H., Eye Tracking System with Blink Detection, Journal of Computing, 4 (3), 51-60, 2012.
- Johns M.W., The amplitude velocity ratio of blinks: A new method for monitoring drowsiness, Sleep, 26, p. A51, 2003.
- Budak H., Özellik Seçim Yöntemleri ve Yeni Bir Yaklaşım, Süleyman Demirel Üniversitesi Fen Bilimleri Enstitüsü Dergisi, 22, 21-31, 2018.
- Kocakafa T., Özellik Oluşumu ve Özellik Seçimi (Feature Selection)-3. https://www.veribilimiokulu.com/ozellik-olusumu-ve-ozellik- secimifeature-selection-3/ Yayın tarihi Ocak 10, 2021. Erişim tarihi Mayıs 24, 2021.
- Python (Sürüm 3.8). https://www.anaconda.com/. Erişim tarihi Ekim 20, 2021.
| APA | HARPUTLU AKSU Ş, Çakıt E (2023). Göz izleme verilerine bağlı olarak zihinsel iş yükünü sınıflandırmada makine öğrenmesi algoritmalarının kullanılması. , 1027 - 1040. 10.17341/gazimmfd.1049979 |
| Chicago | HARPUTLU AKSU ŞENİZ,Çakıt Erman Göz izleme verilerine bağlı olarak zihinsel iş yükünü sınıflandırmada makine öğrenmesi algoritmalarının kullanılması. (2023): 1027 - 1040. 10.17341/gazimmfd.1049979 |
| MLA | HARPUTLU AKSU ŞENİZ,Çakıt Erman Göz izleme verilerine bağlı olarak zihinsel iş yükünü sınıflandırmada makine öğrenmesi algoritmalarının kullanılması. , 2023, ss.1027 - 1040. 10.17341/gazimmfd.1049979 |
| AMA | HARPUTLU AKSU Ş,Çakıt E Göz izleme verilerine bağlı olarak zihinsel iş yükünü sınıflandırmada makine öğrenmesi algoritmalarının kullanılması. . 2023; 1027 - 1040. 10.17341/gazimmfd.1049979 |
| Vancouver | HARPUTLU AKSU Ş,Çakıt E Göz izleme verilerine bağlı olarak zihinsel iş yükünü sınıflandırmada makine öğrenmesi algoritmalarının kullanılması. . 2023; 1027 - 1040. 10.17341/gazimmfd.1049979 |
| IEEE | HARPUTLU AKSU Ş,Çakıt E "Göz izleme verilerine bağlı olarak zihinsel iş yükünü sınıflandırmada makine öğrenmesi algoritmalarının kullanılması." , ss.1027 - 1040, 2023. 10.17341/gazimmfd.1049979 |
| ISNAD | HARPUTLU AKSU, ŞENİZ - Çakıt, Erman. "Göz izleme verilerine bağlı olarak zihinsel iş yükünü sınıflandırmada makine öğrenmesi algoritmalarının kullanılması". (2023), 1027-1040. https://doi.org/10.17341/gazimmfd.1049979 |
| APA | HARPUTLU AKSU Ş, Çakıt E (2023). Göz izleme verilerine bağlı olarak zihinsel iş yükünü sınıflandırmada makine öğrenmesi algoritmalarının kullanılması. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, 38(2), 1027 - 1040. 10.17341/gazimmfd.1049979 |
| Chicago | HARPUTLU AKSU ŞENİZ,Çakıt Erman Göz izleme verilerine bağlı olarak zihinsel iş yükünü sınıflandırmada makine öğrenmesi algoritmalarının kullanılması. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi 38, no.2 (2023): 1027 - 1040. 10.17341/gazimmfd.1049979 |
| MLA | HARPUTLU AKSU ŞENİZ,Çakıt Erman Göz izleme verilerine bağlı olarak zihinsel iş yükünü sınıflandırmada makine öğrenmesi algoritmalarının kullanılması. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, vol.38, no.2, 2023, ss.1027 - 1040. 10.17341/gazimmfd.1049979 |
| AMA | HARPUTLU AKSU Ş,Çakıt E Göz izleme verilerine bağlı olarak zihinsel iş yükünü sınıflandırmada makine öğrenmesi algoritmalarının kullanılması. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi. 2023; 38(2): 1027 - 1040. 10.17341/gazimmfd.1049979 |
| Vancouver | HARPUTLU AKSU Ş,Çakıt E Göz izleme verilerine bağlı olarak zihinsel iş yükünü sınıflandırmada makine öğrenmesi algoritmalarının kullanılması. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi. 2023; 38(2): 1027 - 1040. 10.17341/gazimmfd.1049979 |
| IEEE | HARPUTLU AKSU Ş,Çakıt E "Göz izleme verilerine bağlı olarak zihinsel iş yükünü sınıflandırmada makine öğrenmesi algoritmalarının kullanılması." Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, 38, ss.1027 - 1040, 2023. 10.17341/gazimmfd.1049979 |
| ISNAD | HARPUTLU AKSU, ŞENİZ - Çakıt, Erman. "Göz izleme verilerine bağlı olarak zihinsel iş yükünü sınıflandırmada makine öğrenmesi algoritmalarının kullanılması". Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi 38/2 (2023), 1027-1040. https://doi.org/10.17341/gazimmfd.1049979 |
