Derin öğrenme kullanılarak nesnelerin interneti tabanlı mobil sürücü yorgunluk tespiti

BARIŞÇI, Necaattin; Şafak, Emre; Dogru, Ibrahım Alper; TOKLU, Sinan

doi:10.17341/gazimmfd.999527

Derin öğrenme kullanılarak nesnelerin interneti tabanlı mobil sürücü yorgunluk tespiti

Emre ŞAFAK, (HAVELSAN, ARGE Teknoloji ve Ürün Yönetimi Bölümü, Ankara, Türkiye)

İbrahim Alper DOĞRU, (Gazi Üniversitesi, Teknoloji Fakültesi, Bilgisayar Mühendisliği Bölümü, Ankara, Türkiye)

Necaattin BARIŞÇI, (Gazi Üniversitesi, Teknoloji Fakültesi, Bilgisayar Mühendisliği Bölümü, Ankara, Türkiye)

Sinan TOKLU (Gazi Üniversitesi, Teknoloji Fakültesi, Bilgisayar Mühendisliği Bölümü, Ankara, Türkiye)

Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi

15 2

Yıl: 2022 Cilt: 37 Sayı: 4 Sayfa Aralığı: 1869 - 1881 Metin Dili: Türkçe DOI: 10.17341/gazimmfd.999527 İndeks Tarihi: 29-07-2022

Derin öğrenme kullanılarak nesnelerin interneti tabanlı mobil sürücü yorgunluk tespiti

Öz:

Sürücü yorgunluk tespiti trafik kazalarını önlemek için önemli bir konudur. Şiddetli trafik kazalarının %40’ı yorgunluk nedeniyle yaşanmaktadır. Sürücü yorgunluk tespiti için çeşitli yöntemler kullanılmaktadır. Sürücü yorgunluk tespiti yöntemlerinden biri EEG ve ECG gibi fiziksel sinyallerin analiz edilmesine dayalı sürücü yorgunluk tespitidir. Bu yöntemde sürücülere doğrudan müdahale gerekmektedir. Bir başka sürücü yorgunluk tespiti yöntemi araç-sürücü etkileşimine dayalı sürücü yorgunluk tespitidir. Bu yöntemde sürücülerin gaza basma şiddeti, direksiyon tutuşu ve frene basma sıklığı gibi davranışlar analiz edilmektedir. Ancak bu davranışlar kişiden kişiye değiştiğinden genelleştirilebilmesi zordur. Yapılan çalışmada kullanılan ve son sürücü yorgunluk tespiti yöntemi görüntülerden sürücü yorgunluk tespitidir. Bu yöntem diğer iki yönteme göre maliyet ve kullanılabilirliğin yanında sürücüye müdahale gerekmediğinden daha avantajlıdır. Kameralar üzerinden gelen görüntüler analiz edilerek yorgunluk tespiti yapılabilmektedir. Görüntülerden sürücü yorgunluk tespiti çalışmaları için klasik görüntü işleme teknikleri ve derin öğrenme algoritmaları kullanılmaktadır. Son sürücü yorgunluk tespiti çalışmaları genellikle derin öğrenme ağı modellerini temel almaktadır. Bunun yanında yaygın kullanımın sağlanabilmesi için geliştirilecek modelin mobil cihazlar üzerinde çalışabilmesi gerekecektir. Yapılan çalışmada mobil cihazlarda sürücü yorgunluk tespiti için Evrişimsel Sinir Ağları kullanılmıştır. Modelin başarı oranını artırabilmek için önceden eğitilmiş model transfer öğrenme tekniğiyle tekrar kullanılmıştır. Geliştirilen model %95,65 başarı oranına ulaşarak daha önceki yapılan çalışmalardan daha iyi sonuç elde etmiştir.

Anahtar Kelime: derin öğrenme mobil cihazlarda sürücü yorgunluk tespiti Sürücü yorgunluk tespiti transfer öğrenme nesnelerin interneti evrişimsel sinir ağları

IoT based mobile driver drowsiness detection using deep learning

Öz:

Driver drowsiness detection is an important issue to prevent traffic accidents. 40% of severe traffic accidents are due to drowsiness. Various methods are used for driver drowsiness detection. One of the driver drowsiness detection method is driver drowsiness detection based on the analysis of signals such as EEG and ECG. Another driver drowsiness detection method is driver drowsiness detection based on vehicle-driver interaction. The last driver drowsiness detection method used in the study is driver drowsiness detection from images. This method is more advantageous than the other two methods in terms of cost and usability because no driver intervention required. Classical image processing techniques and deep learning algorithms are used for driver drowsiness detection from images. Recent driver drowsiness detection studies are based on deep learning models. In addition, the model to be developed will need to be able to work on mobile devices in order to ensure widespread use. In the study, Convolutional Neural Networks were used for driver drowsiness detection on mobile devices. In order to increase the success rate of the model, the pre-trained model was reused with the transfer learning technique. The model developed for the training consists of 14 layers and 1,236,217 parameters. The dataset consists of two categories, open-eye and closed-eye images. The developed model achieved 95.65% accuracy, 95.86% precision, 94.32% recall and 95.17% f1 score which achieved better results than previous studies. A dataset of 2425 images was used to train the model.

Anahtar Kelime:

Belge Türü: Makale Makale Türü: Araştırma Makalesi Erişim Türü: Erişime Açık

1. Abílio Ramos M., Droguett E. L., Mosleh A., das Chagas Moura M., Ramos Martins M., Revisiting past refinery accidents from a human reliability analysis perspective: The BP Texas City and the Chevron Richmond accidents, Canadian Journal of Chemical Engineering, 95, 2293-2305, 2017.
2. Dementyev A., Holz C., DualBlink: A wearable device to continuously detect, track, and actuate blinking for alleviating dry eyes and computer vision syndrome, In Proceedings of the ACM on interactive, mobile, wearable and ubiquitous technologies, 1 (1), 1-19, 2017.
3. Jacobé de Naurois C., Bourdin C., Stratulat A., Diaz E., Vercher J.-L., Detection and prediction of driver drowsiness using artificial neural network models, Accident Analysis & Prevention, 126, 95-104, 2019.
4. Utku A., Doğru İ.A., Permission based detection system for android malware, Journal of the Faculty of Engineering and Architecture of Gazi University, 32 (4), 1015-1024, 2017.
5. Öcal, H., Doğru, İ. A., Barışçı, N., Akıllı ve Geleneksel Giyilebilir Sağlık Cihazlarında Nesnelerin İnterneti, Politeknik Dergisi, 22 (3), 695-714, 2019.
6. Liu Z., Peng Y., Hu W., Driver fatigue detection based on deeply-learned facial expression representation, Journal of Visual Communication and Image Representation, 71, 102723, 2020.
7. Maior, C., Moura M., Santana J., Lins I., Real-time classification for autonomous drowsiness detection using eye aspect ratio, Expert Systems with Applications, 158, 113505, 2020.
8. Moujahid A., Dornaika F., Arganda-Carreras I., Reta J., Efficient and compact face descriptor for driver drowsiness detection, Expert Systems With Applications, 168, 114334, 2021.
9. Mohammad F., Mahadas K., Hung G.K., Drowsy driver mobile application: Development of a novel scleral-area detection method, Computers in Biology and Medicine, 89, 76-83, 2017.
10. Soares S., Ferreira S., Couto A., Drowsiness and distraction while driving: A study based on smartphone app data, Journal of Safety Research, 72, 279-285, 2020.
11. Rajamohana S.P., Radhika E.G., Priya S., Sangeetha S., Driver drowsiness detection system using hybrid approach of convolutional neural network and bidirectional long short term memory (CNN_BILSTM), Materials Today: Proceedings, 45 (2), 2897-2901, 2021.
12. Eyes Dataset, https://github.com/aayushrai/Driver_safety/tree/master/ eyes. Erişim tarihi Eylül 5, 2021.
13. Rácz, A., Bajusz, D., Héberger, K., Effect of Dataset Size and Train/Test Split Ratios in QSAR/QSPR Multiclass Classification, Molecules, 26 (4), 1111, 2021.
14. Şafak E., Barışçı N., Age and Gender Prediction Using Convolutional Neural Networks, 2018 2nd International Symposium on Multidisciplinary Studies and Innovative Technologies (ISMSIT), Ankara-Türkiye, 19-21 Ekim, 2018.
15. Albawi S., Mohammed T. A., Al-Zawi S., Understanding of a convolutional neural network, International Conference on Engineering and Technology (ICET), Antalya-Türkiye, 21-23 Ağustos, 2017.
16. Arı A., Hanbay D., Tumor detection in MR images of regional convolutional neural networks, Journal of the Faculty of Engineering and Architecture of Gazi University, 34 (3), 1395-1408, 2019.
17. Yilmaz, S., Toklu, S., A deep learning analysis on question classification task using Word2vec representations, Neural Computing and Applications, 32, 2909–2928, 2020.
18. Elmas B., Identifying species of trees through bark images by convolutional neural networks with transfer learning method, Journal of the Faculty of Engineering and Architecture of Gazi University, 36 (3), 1253-1270, 2021.
19. İnik, Ö., Ülker, E., Derin Öğrenme ve Görüntü Analizinde Kullanılan Derin Öğrenme Modelleri, Gaziosmanpaşa Bilimsel Araştırma Dergisi (GBAD), 6 (3), 85-104, 2017.
20. Krizhevsky A., Sutskever I., Hinton G., ImageNet classification with deep convolutional neural networks, In Advances in Neural Information Processing Systems 2012, Nevada-ABD, 1097-1105, 2012.
21. Simonyan K., Zisserman A., Very deep convolutional neural networks for large-scale image recognition, arXiv preprint arXiv:1409.1556, 2015.
22. He K. M., Zhang X. Y., Ren S. Q., Sun J., Deep Residual Learning for Image Recognition, 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas-ABD, 770-778, 27-30 Haziran, 2016.
23. Uçar M., Glokom Hastalığının Evrişimli Sinir Ağı Mimarileri ile Tespiti, DEÜ FMD, 23 (68), 521-529, 2021.
24. Howard A. G., Zhu M., Chen B., Kalenichenko D., Wang W., Weyand T., Andreetto M., Adam H., MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications, CoRR, abs/1704.04861, 2017.
25. Şeker A., Diri B., Balık H.H., Derin Öğrenme Yöntemleri ve Uygulamaları Hakkında Bir İnceleme, Gazi Mühendislik Bilimleri Dergisi, 3 (3), 47-64, 2017.
26. Janardhanan P., Project repositories for machine learning with TensorFlow, Procedia Computer Science, 171, 188-196, 2020.
27. Tensorflow. Tensorflow. https://www.tensorflow.org/. Erişim tarihi Ağustos 15, 2021.
28. Bozinovski S., Fulgosi A., The influence of pattern similarity and transfer of learning upon training of a base perceptron B2, Proc. Symp. Informatica 3-121-5, Bled, 1976.
29. Fırıldak K., Talu M.F., Evrişimsel Sinir Ağlarında Kullanılan Transfer Öğrenme Yaklaşımlarının İncelenmesi, 4 (2), 88-95, 2019.
30. Sıngh S. P., Transfer of Learning by Composing Solutions of Elemental Sequential Tasks, Machine Learning, 8, 323-339, 1992.

APA	Şafak E, Dogru I, BARIŞÇI N, TOKLU S (2022). Derin öğrenme kullanılarak nesnelerin interneti tabanlı mobil sürücü yorgunluk tespiti. , 1869 - 1881. 10.17341/gazimmfd.999527
Chicago	Şafak Emre,Dogru Ibrahım Alper,BARIŞÇI Necaattin,TOKLU Sinan Derin öğrenme kullanılarak nesnelerin interneti tabanlı mobil sürücü yorgunluk tespiti. (2022): 1869 - 1881. 10.17341/gazimmfd.999527
MLA	Şafak Emre,Dogru Ibrahım Alper,BARIŞÇI Necaattin,TOKLU Sinan Derin öğrenme kullanılarak nesnelerin interneti tabanlı mobil sürücü yorgunluk tespiti. , 2022, ss.1869 - 1881. 10.17341/gazimmfd.999527
AMA	Şafak E,Dogru I,BARIŞÇI N,TOKLU S Derin öğrenme kullanılarak nesnelerin interneti tabanlı mobil sürücü yorgunluk tespiti. . 2022; 1869 - 1881. 10.17341/gazimmfd.999527
Vancouver	Şafak E,Dogru I,BARIŞÇI N,TOKLU S Derin öğrenme kullanılarak nesnelerin interneti tabanlı mobil sürücü yorgunluk tespiti. . 2022; 1869 - 1881. 10.17341/gazimmfd.999527
IEEE	Şafak E,Dogru I,BARIŞÇI N,TOKLU S "Derin öğrenme kullanılarak nesnelerin interneti tabanlı mobil sürücü yorgunluk tespiti." , ss.1869 - 1881, 2022. 10.17341/gazimmfd.999527
ISNAD	Şafak, Emre vd. "Derin öğrenme kullanılarak nesnelerin interneti tabanlı mobil sürücü yorgunluk tespiti". (2022), 1869-1881. https://doi.org/10.17341/gazimmfd.999527

APA	Şafak E, Dogru I, BARIŞÇI N, TOKLU S (2022). Derin öğrenme kullanılarak nesnelerin interneti tabanlı mobil sürücü yorgunluk tespiti. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, 37(4), 1869 - 1881. 10.17341/gazimmfd.999527
Chicago	Şafak Emre,Dogru Ibrahım Alper,BARIŞÇI Necaattin,TOKLU Sinan Derin öğrenme kullanılarak nesnelerin interneti tabanlı mobil sürücü yorgunluk tespiti. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi 37, no.4 (2022): 1869 - 1881. 10.17341/gazimmfd.999527
MLA	Şafak Emre,Dogru Ibrahım Alper,BARIŞÇI Necaattin,TOKLU Sinan Derin öğrenme kullanılarak nesnelerin interneti tabanlı mobil sürücü yorgunluk tespiti. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, vol.37, no.4, 2022, ss.1869 - 1881. 10.17341/gazimmfd.999527
AMA	Şafak E,Dogru I,BARIŞÇI N,TOKLU S Derin öğrenme kullanılarak nesnelerin interneti tabanlı mobil sürücü yorgunluk tespiti. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi. 2022; 37(4): 1869 - 1881. 10.17341/gazimmfd.999527
Vancouver	Şafak E,Dogru I,BARIŞÇI N,TOKLU S Derin öğrenme kullanılarak nesnelerin interneti tabanlı mobil sürücü yorgunluk tespiti. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi. 2022; 37(4): 1869 - 1881. 10.17341/gazimmfd.999527
IEEE	Şafak E,Dogru I,BARIŞÇI N,TOKLU S "Derin öğrenme kullanılarak nesnelerin interneti tabanlı mobil sürücü yorgunluk tespiti." Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, 37, ss.1869 - 1881, 2022. 10.17341/gazimmfd.999527
ISNAD	Şafak, Emre vd. "Derin öğrenme kullanılarak nesnelerin interneti tabanlı mobil sürücü yorgunluk tespiti". Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi 37/4 (2022), 1869-1881. https://doi.org/10.17341/gazimmfd.999527