Derin Öğrenme Yöntemi Kullanılarak Geliştirilen
Yapay Zekâ Yöntemi ile Panoramik Radyografilerde
Dental Restorasyonların Otomatik Tespiti ve Sınıflandırılması:
Metodolojik Çalışmalar

Orhan, Kaan; Kilic, munevver; Aşçı, Esra; Bilgir, Elif; BAYRAKDAR, Ibrahim Sevki; Çelik, Özer; ASLAN, Ahmet Faruk; Odabas, Alper

doi:10.5336/dentalsci.2021-84835

Derin Öğrenme Yöntemi Kullanılarak Geliştirilen Yapay Zekâ Yöntemi ile Panoramik Radyografilerde Dental Restorasyonların Otomatik Tespiti ve Sınıflandırılması: Metodolojik Çalışmalar

Esra AŞÇI, (Atatürk Üniversitesi, Diş Hekimliği Fakültesi, Çocuk Diş Hekimliği Anabilim Dalı, Erzurum, Türkiye b)

Münevver KILIÇ, (Atatürk Üniversitesi, Diş Hekimliği Fakültesi, Çocuk Diş Hekimliği Anabilim Dalı, Erzurum, Türkiye b)

Özer ÇELİK, (Eskişehir Osmangazi Üniversitesi, Sağlıkta Bilgisayar Destekli Tanı ve Tedavi Araştırma ve Uygulama Merkezi, Eskişehir, Türkiye)

İbrahim Şevki BAYRAKDAR, (Eskişehir Osmangazi Üniversitesi, Sağlıkta Bilgisayar Destekli Tanı ve Tedavi Araştırma ve Uygulama Merkezi, Eskişehir, Türkiye)

Elif BİLGİR, (Eskişehir Osmangazi Üniversitesi, Sağlıkta Bilgisayar Destekli Tanı ve Tedavi Araştırma ve Uygulama Merkezi, Eskişehir, Türkiye)

Ahmet Faruk ASLAN, (Eskişehir Osmangazi Üniversitesi, Fen Fakültesi, Matematik ve Bilgisayar Bilimleri Bölümü, Eskişehir, Türkiye)

Alper ODABAŞ, (Eskişehir Osmangazi Üniversitesi, Fen Fakültesi, Matematik ve Bilgisayar Bilimleri Bölümü, Eskişehir, Türkiye)

Kaan ORHAN (Ankara Üniversitesi, Diş Hekimliği Fakültesi, Oral ve Maksillofasiyal Radyoloji Anabilim Dalı, Ankara, Türkiye)

Türkiye Klinikleri Diş Hekimliği Bilimleri Dergisi

59 10

Yıl: 2022 Cilt: 28 Sayı: 2 Sayfa Aralığı: 329 - 337 Metin Dili: Türkçe DOI: 10.5336/dentalsci.2021-84835 İndeks Tarihi: 15-06-2022

Derin Öğrenme Yöntemi Kullanılarak Geliştirilen Yapay Zekâ Yöntemi ile Panoramik Radyografilerde Dental Restorasyonların Otomatik Tespiti ve Sınıflandırılması: Metodolojik Çalışmalar

Öz:

Bu çalışmanın amacı, derin öğrenme yöntemi kullanılarak geliştirilen yapay zekâ yöntemi ile panoramik radyografilerde dental restorasyonları otomatik olarak tespit etmek ve sınıflandırmaktır. Gereç ve Yöntemler: Bu çalışmada, yapay zekâ modeli geliştirmek için 12-15 yaş aralığındaki çocuklardan alınan 789 panoramik radyografi kullanılmıştır. Radyografiler, Atatürk Üniversitesi Diş Hekimliği Fakültesi Pedodonti ABD radyoloji arşivinden elde edilmiştir. Çalışmamıza dâhil edilen panoramik radyografiler dolgu ve kanal tedavisi olmak üzere 2 gruba ayrılmıştır. PyTorch kütüphanesi ile uygulanan U-Net modeli restoratif materyallerin tespiti ve segmentasyonu için kullanılmıştır. Yapay zekâ performansı, karışıklık matrisi kullanılarak değerlendirilmiştir. Bulgular: Yapay zekâ sistemi dolgu grubuna ait test grubunda; 50 görüntüde bulunan 94 dolgulu diş etiket sayısından 89’unu gerçek pozitif, 1’ini yanlış pozitif ve 4’ünü yanlış negatif olarak değerlendirmiştir. Karışıklık matrisi kullanarak hesaplanan duyarlılık, kesinlik ve F1 skor değerleri sırasıyla 0,9569, 0,9888 ve 0,9726 olarak tespit edilmiştir. Kanal tedavisi, test grubunda 40 görüntüde bulunan 76 kanal tedavili diş etiket sayısından 60’ı gerçek pozitif, 0 yanlış pozitif ve 11’i yanlış negatif olarak değerlendirmiştir. Karışıklık matrisi kullanarak hesaplanan duyarlılık, kesinlik ve F1 değerleri sırasıyla 0,8450, 1 ve 0,9160 olarak tespit edilmiştir. Sonuç: Derin öğrenme tabanlı yapay zekâ modelleri, daimî dişlenme dönemine ait çocuklardan alınan panoramik radyografilerde restorasyonları otomatik olarak tespitinde çok iyi performans göstermiştir. Yapay zekâ araçları, klinisyenlere zaman kazandırabilir ve karar destek sistemi olarak yardımcı olabilir.

Anahtar Kelime:

Automatic Detection and Classification of Dental Restorations in Panoramic Radiographs with Artificial Intelligence Method Developed Using Deep Learning Method: Methodological Studies

Öz:

This study aims to detect and classify it with the artificial intelligence method developed using the deep learning method. Material and Methods: In this study, 789 panoramic radiographs taken from children aged 12-15 were used to develop an artificial intelligence model. Radiographs were obtained from the radiology archive of Atatürk University Faculty of Dentistry, Department of Pedodontics. Panoramic radiographs included in our study were divided into two groups as filling and root canal treatment. The U-Net model implemented with the PyTorch library was used for the detection and segmentation of restorative materials. AI performance was evaluated using the confusion matrix. Results: Artificial intelligence system; in the test group belonging to the filler group; evaluated 89 true positives, 1 false-positive, and 4 false negatives out of 94 filled tooth tags in 50 images. Sensitivity, precision, and F1 score values calculated using the confusion matrix were found to be 0.9569, 0.9888, and 0.9726, respectively. Root canal treatment evaluated 60 as true positive, 0 false positive, and 11 false negatives out of 76 root canal-treated tooth tags in 40 images in the test group. Sensitivity, precision, and F1 values calculated using the confusion matrix were found to 0,8450, 1 ve and 0,9160, respectively. Conclusion: Deep learning-based artificial intelligence models have performed very well in automatically detecting restorations in panoramic radiographs of children with permanent dentition. AI tools can save clinicians time and assist as a decision support system.

Anahtar Kelime:

Belge Türü: Makale Makale Türü: Araştırma Makalesi Erişim Türü: Erişime Açık

1. Khanagar SB, Al-Ehaideb A, Maganur PC, Vishwanathaiah S, Patil S, Baeshen HA, et al. Developments, application, and performance of artificial intelligence in dentistry - a systematic review. J Dent Sci. 2021;16(1):508-22. [Crossref] [PubMed] [PMC]
2. Park WJ, Park JB. History and application of artificial neural networks in dentistry. Eur J Dent. 2018;12(4):594-601. [Crossref] [PubMed] [PMC]
3. Şeker A, Diri B, Balık HH. Derin öğrenme yöntemleri ve uygulamaları hakkında bir inceleme [A review about deep learning methods and applications]. Gazi Mühendislik Bilimleri Dergisi. 2017;3(3):47-64. [Link]
4. Gao X, Ramezanghorbani F, Isayev O, Smith JS, Roitberg AE. TorchANI: a free and open source PyTorch-based deep learning implementation of the ANI neural network potentials. J Chem Inf Model. 2020;60(7):3408- 15. [Crossref] [PubMed]
5. Khanna S. Artificial intelligence: contemporary applications and future compass. Int Dent J. 2010;60(4):269-72. [PubMed]
6. Lee JH, Kim DH, Jeong SN, Choi SH. Detection and diagnosis of dental caries using a deep learning-based convolutional neural network algorithm. J Dent. 2018;77:106-11. [Crossref] [PubMed]
7. Poedjiastoeti W, Suebnukarn S. Application of convolutional neural network in the diagnosis of jaw tumors. Healthc Inform Res. 2018;24(3):236- 41. [Crossref] [PubMed] [PMC]
8. Woo SY, Lee SJ, Yoo JY, Han JJ, Hwang SJ, Huh KH, et al. Autonomous bone reposition around anatomical landmark for robot-assisted orthognathic surgery. J Craniomaxillofac Surg. 2017;45(12):1980-8. [Crossref] [PubMed]
9. Hwang JJ, Jung YH, Cho BH, Heo MS. An overview of deep learning in the field of dentistry. Imaging Sci Dent. 2019;49(1):1-7. [Crossref] [PubMed] [PMC]
10. Terlemez A, Tassoker M, Kizilcakaya M, Gulec M. Comparison of conebeam computed tomography and panoramic radiography in the evaluation of maxillary sinus pathology related to maxillary posterior teeth: do apical lesions increase the risk of maxillary sinus pathology? Imaging Sci Dent. 2019;49(2):115-22. [Crossref] [PubMed] [PMC]
11. Schwendicke F, Golla T, Dreher M, Krois J. Convolutional neural networks for dental image diagnostics: a scoping review. J Dent. 2019;91:103226. [Crossref] [PubMed]
12. Casalegno F, Newton T, Daher R, Abdelaziz M, Lodi-Rizzini A, Schürmann F, et al. Caries detection with near-infrared transillumination using deep learning. J Dent Res. 2019; 98(11): 1227-33. [Crossref] [PubMed] [PMC]
13. LeCun Y, Bengio Y, Hinton G. Deep learning. Nature. 2015;521:436-44. [Crossref] [PubMed]
14. Wenzel A, Hintze H. The choice of gold standard for evaluating tests for caries diagnosis. Dentomaxillofac Radiol. 1999;28(3):132-6. [Crossref] [PubMed]
15. Walsh T. Fuzzy gold standards: approaches to handling an imperfect reference standard. J Dent. 2018;74 Suppl 1:S47-S9. [Crossref] [PubMed]
16. Stehman SV. Selecting and interpreting measures of thematic classification accuracy. Remote Sens Environ. 1997;62(1):77-89. [Crossref]
17. Kılıc MC, Bayrakdar IS, Çelik Ö, Bilgir E, Orhan K, Aydın OB, et al. Artificial intelligence system for automatic deciduous tooth detection and numbering in panoramic radiographs. Dentomaxillofac Radiol. 2021;50(6): 20200172. [Crossref] [PubMed] [PMC]
18. Colabeler [İnternet]. Best al annotation tool ever. (Erişim tarihi: 2019) Erişim linki: [Link]
19. Dataturks [İnternet]. Erişim linki: [Link]
20. RectLabel [İnternet]. Erişim linki: [Link]
21. Dümmel J, Hochstein M, Glöckle J, Furmans K. Effizientes labeln von artikeln für das einlernen künstlicher neuronaler netze [Efficient labelling of articles for teaching artificial neural networks. Logistics Journal: Proceedings. 2019;12:1-9. [Link]
22. Ellis R, Ellestad E, Elicker B, Hope MD, Tosun D. Impact of hybrid supervision approaches on the performance of artificial intelligence for the classification of chest radiographs. Computers in Biology and Medicine. 2020;120: 103699. [Crossref] [PubMed]
23. Collet F. Xception: deep learning with depthwise separable convolutions. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017;1251-8. [Link]
24. Redmon J, Farhadi A. YOLO9000: better, faster, stronger. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017;7263-71. [Crossref]
25. Chen LC, Papandreou G, Kokkinos I, Murphy K, Yuille AL. Deeplab: semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected CRFs. IEEE Trans Pattern Anal Mach Intell. 2017;40:834-48. [Crossref] [PubMed]
26. Litjens G, Kooi T, Bejnordi BE, Setio AAA, Ciompi F, Ghafoorian M, et al. A survey on deep learning in medical image analysis. Med Image Anal. 2017;42:60-88. [Crossref] [PubMed]
27. Ozturk O, Sarıtürk B, Seker Dz. Comparison of fully convolutional networks (FCN) and U-Net for road segmentation from high resolution imageries. IJEGEO. 2020;7(3):272-9. [Crossref]
28. Ronneberger O, Fischer P, Brox T In U-net: Convolutional networks for biomedical image segmentation, International Conference on Medical image computing and computer-assisted intervention. Springer; 2015. p.234-41. [Crossref]
29. zhang L, Xu L. An automatic liver segmentation algorithm for CT images U-Net with separated paths of feature extraction. 2018 IEEE 3rd International Conference on Image, Vision and Computing (ICIVC). IEEE: 2018:294-8. [Link]
30. Nishitani Y, Nakayama R, Hayashi D, Hizukuri A, Murata K. Segmentation of teeth in panoramic dental X-ray images using U-Net with a loss function weighted on the tooth edge. Radiol Phys Technol. 2021;14(1):64-9. [Crossref] [PubMed]
31. Kızrak MA, Bolat B. Derin öğrenme ile kalabalık analizi üzerine detaylı bir araştırma [A comprehensive survey of deep learning in crowd analysis]. Bilişim Teknolojileri Dergisi. 2018;11(3):263-86. [Crossref]
32. Collobert R, Kavukcuoglu K, Farabet C. Torch7: a matlab-like environment for machine learning. BigLearn, NIPS Workshop; 2011. [Link]
33. Yoo SH, Geng H, Chiu TL, Yu SK, Cho DC, Heo J, et al. Deep learningbased decision-tree classifier for COVID-19 diagnosis from chest X-ray imaging. Front Med (Lausanne). 2020;7:427. [Crossref] [PubMed] [PMC]
34. Khanagar SB, Al-Ehaideb A, Maganur PC, Vishwanathaiah S, Patil S, Baeshen HA, et al. Developments, application, and performance of artificial intelligence in dentistry - a systematic review. J Dent Sci. 2021;16(1): 508-22. [Crossref] [PubMed] [PMC]
35. Abdalla-Aslan R, Yeshua T, Kabla D, Leichter I, Nadler C. An artificial intelligence system using machine-learning for automatic detection and classification of dental restorations in panoramic radiography. Oral Surg Oral Med Oral Pathol Oral Radiol. 2020;130(5):593-602. [Crossref] [PubMed]

APA	Aşçı E, Kilic m, Çelik Ö, BAYRAKDAR I, Bilgir E, ASLAN A, Odabas A, Orhan K (2022). Derin Öğrenme Yöntemi Kullanılarak Geliştirilen Yapay Zekâ Yöntemi ile Panoramik Radyografilerde Dental Restorasyonların Otomatik Tespiti ve Sınıflandırılması: Metodolojik Çalışmalar. , 329 - 337. 10.5336/dentalsci.2021-84835
Chicago	Aşçı Esra,Kilic munevver,Çelik Özer,BAYRAKDAR Ibrahim Sevki,Bilgir Elif,ASLAN Ahmet Faruk,Odabas Alper,Orhan Kaan Derin Öğrenme Yöntemi Kullanılarak Geliştirilen Yapay Zekâ Yöntemi ile Panoramik Radyografilerde Dental Restorasyonların Otomatik Tespiti ve Sınıflandırılması: Metodolojik Çalışmalar. (2022): 329 - 337. 10.5336/dentalsci.2021-84835
MLA	Aşçı Esra,Kilic munevver,Çelik Özer,BAYRAKDAR Ibrahim Sevki,Bilgir Elif,ASLAN Ahmet Faruk,Odabas Alper,Orhan Kaan Derin Öğrenme Yöntemi Kullanılarak Geliştirilen Yapay Zekâ Yöntemi ile Panoramik Radyografilerde Dental Restorasyonların Otomatik Tespiti ve Sınıflandırılması: Metodolojik Çalışmalar. , 2022, ss.329 - 337. 10.5336/dentalsci.2021-84835
AMA	Aşçı E,Kilic m,Çelik Ö,BAYRAKDAR I,Bilgir E,ASLAN A,Odabas A,Orhan K Derin Öğrenme Yöntemi Kullanılarak Geliştirilen Yapay Zekâ Yöntemi ile Panoramik Radyografilerde Dental Restorasyonların Otomatik Tespiti ve Sınıflandırılması: Metodolojik Çalışmalar. . 2022; 329 - 337. 10.5336/dentalsci.2021-84835
Vancouver	Aşçı E,Kilic m,Çelik Ö,BAYRAKDAR I,Bilgir E,ASLAN A,Odabas A,Orhan K Derin Öğrenme Yöntemi Kullanılarak Geliştirilen Yapay Zekâ Yöntemi ile Panoramik Radyografilerde Dental Restorasyonların Otomatik Tespiti ve Sınıflandırılması: Metodolojik Çalışmalar. . 2022; 329 - 337. 10.5336/dentalsci.2021-84835
IEEE	Aşçı E,Kilic m,Çelik Ö,BAYRAKDAR I,Bilgir E,ASLAN A,Odabas A,Orhan K "Derin Öğrenme Yöntemi Kullanılarak Geliştirilen Yapay Zekâ Yöntemi ile Panoramik Radyografilerde Dental Restorasyonların Otomatik Tespiti ve Sınıflandırılması: Metodolojik Çalışmalar." , ss.329 - 337, 2022. 10.5336/dentalsci.2021-84835
ISNAD	Aşçı, Esra vd. "Derin Öğrenme Yöntemi Kullanılarak Geliştirilen Yapay Zekâ Yöntemi ile Panoramik Radyografilerde Dental Restorasyonların Otomatik Tespiti ve Sınıflandırılması: Metodolojik Çalışmalar". (2022), 329-337. https://doi.org/10.5336/dentalsci.2021-84835

APA	Aşçı E, Kilic m, Çelik Ö, BAYRAKDAR I, Bilgir E, ASLAN A, Odabas A, Orhan K (2022). Derin Öğrenme Yöntemi Kullanılarak Geliştirilen Yapay Zekâ Yöntemi ile Panoramik Radyografilerde Dental Restorasyonların Otomatik Tespiti ve Sınıflandırılması: Metodolojik Çalışmalar. Türkiye Klinikleri Diş Hekimliği Bilimleri Dergisi, 28(2), 329 - 337. 10.5336/dentalsci.2021-84835
Chicago	Aşçı Esra,Kilic munevver,Çelik Özer,BAYRAKDAR Ibrahim Sevki,Bilgir Elif,ASLAN Ahmet Faruk,Odabas Alper,Orhan Kaan Derin Öğrenme Yöntemi Kullanılarak Geliştirilen Yapay Zekâ Yöntemi ile Panoramik Radyografilerde Dental Restorasyonların Otomatik Tespiti ve Sınıflandırılması: Metodolojik Çalışmalar. Türkiye Klinikleri Diş Hekimliği Bilimleri Dergisi 28, no.2 (2022): 329 - 337. 10.5336/dentalsci.2021-84835
MLA	Aşçı Esra,Kilic munevver,Çelik Özer,BAYRAKDAR Ibrahim Sevki,Bilgir Elif,ASLAN Ahmet Faruk,Odabas Alper,Orhan Kaan Derin Öğrenme Yöntemi Kullanılarak Geliştirilen Yapay Zekâ Yöntemi ile Panoramik Radyografilerde Dental Restorasyonların Otomatik Tespiti ve Sınıflandırılması: Metodolojik Çalışmalar. Türkiye Klinikleri Diş Hekimliği Bilimleri Dergisi, vol.28, no.2, 2022, ss.329 - 337. 10.5336/dentalsci.2021-84835
AMA	Aşçı E,Kilic m,Çelik Ö,BAYRAKDAR I,Bilgir E,ASLAN A,Odabas A,Orhan K Derin Öğrenme Yöntemi Kullanılarak Geliştirilen Yapay Zekâ Yöntemi ile Panoramik Radyografilerde Dental Restorasyonların Otomatik Tespiti ve Sınıflandırılması: Metodolojik Çalışmalar. Türkiye Klinikleri Diş Hekimliği Bilimleri Dergisi. 2022; 28(2): 329 - 337. 10.5336/dentalsci.2021-84835
Vancouver	Aşçı E,Kilic m,Çelik Ö,BAYRAKDAR I,Bilgir E,ASLAN A,Odabas A,Orhan K Derin Öğrenme Yöntemi Kullanılarak Geliştirilen Yapay Zekâ Yöntemi ile Panoramik Radyografilerde Dental Restorasyonların Otomatik Tespiti ve Sınıflandırılması: Metodolojik Çalışmalar. Türkiye Klinikleri Diş Hekimliği Bilimleri Dergisi. 2022; 28(2): 329 - 337. 10.5336/dentalsci.2021-84835
IEEE	Aşçı E,Kilic m,Çelik Ö,BAYRAKDAR I,Bilgir E,ASLAN A,Odabas A,Orhan K "Derin Öğrenme Yöntemi Kullanılarak Geliştirilen Yapay Zekâ Yöntemi ile Panoramik Radyografilerde Dental Restorasyonların Otomatik Tespiti ve Sınıflandırılması: Metodolojik Çalışmalar." Türkiye Klinikleri Diş Hekimliği Bilimleri Dergisi, 28, ss.329 - 337, 2022. 10.5336/dentalsci.2021-84835
ISNAD	Aşçı, Esra vd. "Derin Öğrenme Yöntemi Kullanılarak Geliştirilen Yapay Zekâ Yöntemi ile Panoramik Radyografilerde Dental Restorasyonların Otomatik Tespiti ve Sınıflandırılması: Metodolojik Çalışmalar". Türkiye Klinikleri Diş Hekimliği Bilimleri Dergisi 28/2 (2022), 329-337. https://doi.org/10.5336/dentalsci.2021-84835