Açık Kaynak Veri Seti ile Eğitilen Yapay Zeka Modellerinin Klinik Ortamdaki Performans Analizi

Terzi, Ramazan; Demirezen, Ph.D., Mustafa Umut

doi:10.4274/atfm.galenos.2022.97830

Açık Kaynak Veri Seti ile Eğitilen Yapay Zeka Modellerinin Klinik Ortamdaki Performans Analizi

Ramazan TERZİ, (Türkiye Cumhuriyeti Cumhurbaşkanlığı Dijital Dönüşüm Ofisi, Ankara; Amasya Üniversitesi, Bilgisayar Mühendisliği Bölümü, Amasya, Türkiye)

Mustafa Umut DEMİREZEN (Intelligent Application Development DC Department, Huawei R&D Türkiye, İstanbul; Türkiye Cumhuriyeti Cumhurbaşkanlığı Dijital Dönüşüm Ofisi, Ankara, Türkiye)

Ankara Üniversitesi Tıp Fakültesi Mecmuası

30 6

Yıl: 2022 Cilt: 75 Sayı: 1 Sayfa Aralığı: 25 - 34 Metin Dili: Türkçe DOI: 10.4274/atfm.galenos.2022.97830 İndeks Tarihi: 04-05-2023

Açık Kaynak Veri Seti ile Eğitilen Yapay Zeka Modellerinin Klinik Ortamdaki Performans Analizi

Öz:

Amaç: Derin öğrenmeye dayalı tümör tespiti ve bölütleme yöntemleri uzun süreden beri geliştirilmekte olup, günümüzde ise literatürde yaygın olarak yer almaktadır. Geliştirilen yapay zekaya tabanlı derin öğrenme yöntemleri genellikle evrişimsel sinir ağlarına dayanan mimariler kullanırken, günümüzde ise görsel transformatör mimarilerine dayalı metotlar yaygın olarak geliştirilmektedir. Bu çalışmada, bahsedilen bu iki derin öğrenme yaklaşımının literatürde sıklıkla kullanılan veri seti üzerinde eğitilmiş ve hastane ortamından elde edilen gerçek klinik veriler üzerinde test edilmiştir. Böylece açık veri setleri üzerinde eğitilen modellerin gerçek klinik ortamlarda 5 farklı lezyon türü üzerinde kullanım verimliliklerinin ve genelleştirme kabiliyetlerinin ölçülmesi amaçlanmıştır. Gereç ve Yöntem: Açık veri seti olarak BraTS 2020 kullanılarak, ESA ve GT yapılarını içeren 8 adet derin öğrenme modeli eğitilmiştir. Eğitilen modeller Ankara Üniversitesi Tıp Fakültesi Radyoloji Bölümü doktorları tarafından hazırlanan ve etiketlenen MR görüntüleri kullanılarak test edilmiş ve derin öğrenme modellerinin performansı IoU ve Dice katsayısı metrikleri kullanılarak raporlanmıştır. Bulgular: Lezyon türlerine göre yapılan analizler değerlendirildiğinde, BraTS 2020 veri setinde eğitilen modeller, Ankara Üniversitesi’ne ait veriler üzerinde test edildiğinde: HGG lezyonuna ait, NCR/NET, Edema ve Enhancing Tumor etiketleri için sırasıyla yaklaşık olarak ortalama -%17, -%4 ve -%9 performans ödünleşimi, LGG lezyonuna ait, NCR/NET ve Enhancing Tumor etiketleri için sırasıyla yaklaşık olarak ortalama -%45, -%30 performans ödünleşimi, Kavernom lezyonuna ait, Edema etiketi için yaklaşık olarak ortalama -%60 performans ödünleşimi, Menenjiom lezyonuna ait, Edema ve Enhancing Tumor etiketleri için sırasıyla yaklaşık olarak ortalama -%36, ve -%33 performans ödünleşimi, Schwannom lezyonuna ait, Edema ve Enhancing Tumor etiketleri için sırasıyla yaklaşık olarak ortalama -%61, ve +%2 performans ödünleşimi raporlanmıştır. Sonuç: Bulgular ışığında, sadece açık kaynak veri seti ile eğitilen derin öğrenme modellerinin klinik ortamda genelleştirme kabiliyetinin sınırlı olduğu, lezyon türüne göre çeşitlilik gösterdiği, açık kaynak veri seti ile benzer veri setlerde daha başarılı sonuçlar verdiği sözlemlenmiştir. model performansının iyileştirilmesi için açık verisetleri üzerinde geliştirilen modellerin klinik ortamda kullanılması için öğrenme aktarımı (transfer learning) çalışmaların yapılması gerektiği görülmüştür.

Anahtar Kelime:

Performance Analysis of Artificial Intelligence Models Trained with Open-Source Dataset in Clinical Environment

Öz:

Objectives: Deep learning-based tumor detection and segmentation methods have been developed for a long time and are now widely used in the literature. While the earlier deep learning methods generally use architectures based on convolutional neural networks, more novel methods based on visual transformer architectures have several advanced capabilities and are widely used today. In this study, these two deep learning approaches were trained on the data set frequently used in the literature and tested on real clinical data obtained from the hospital environment. Thus, it is aimed to measure the usage efficiencies and generalization capabilities of the models trained on open datasets on 5 different lesion types in real clinical settings. Materials and Methods: Using BraTS 2020 as an open dataset, eight deep-learning architectures based on Convolutional Neural Networks and Visual Transformers were trained. The trained models were reported using MR images prepared and labeled by the doctors of Ankara University Faculty of Medicine, Department of Radiology and the performance of the deep learning models was reported using the IoU and Dice coefficient metrics. Results: In the light of the analyzes grouped by lesion types, when the models trained in the BraTS 2020 dataset were tested on the dataset of Ankara University: approximately 17%, 4%, and 9% performance decreases were observed for HGG lesion, NCR/NET, Edema and Enhancing Tumor labels, respectively. As for the LGG tumors, approximately 45%, and 30% performance drop for NCR/NET and Enhancing Tumor labels were discovered, respectively. For Cavernoma tumors, approximately a 60% performance decrease for Edema labels. For Meningioma tumors, An average of approximately 36% and 33% performance decline were reported for the Edema and Enhancing Tumor labels, respectively, and finally, approximately 61% and 2% performance diminish for the Schwannoma lesion for Edema and Enhancing Tumor labels were shown, respectively. Conclusion: In light of the findings, it has been observed that the generalization ability of deep learning models trained only with the open source dataset is quite limited in the clinical setting, varies according to the lesion type, and gives more successful results in the open dataset and similar datasets. In order to improve the model performance, it has been seen that transfer learning studies should be carried out in order to use the models developed on open datasets in the clinical environment.

Anahtar Kelime:

Belge Türü: Makale Makale Türü: Derleme Erişim Türü: Erişime Açık

1. Shelatkar T, Urvashi D, Shorfuzzaman M, et al. Diagnosis of Brain Tumor Using Light Weight Deep Learning Model with Fine-Tuning Approach. Comput Math Methods Med. 2022;2022:2858845.
2. Gao P, Shan W, Guo Y, et al. Development and Validation of a Deep Learning Model for Brain Tumor Diagnosis and Classification Using Magnetic Resonance Imaging. JAMA Netw Open. 2022;5:e2225608.
3. Díaz-Pernas FJ, Martínez-Zarzuela M, Antón-Rodríguez M, et al. A Deep Learning Approach for Brain Tumor Classification and Segmentation Using a Multiscale Convolutional Neural Network. Healthcare (Basel). 2021;9:153.
4. Gaur L, Bhandari M, Razdan T, et al. Explanation-Driven Deep Learning Model for Prediction of Brain Tumour Status Using MRI Image Data. Front Genet. 2022;13:822666.
5. Işın A, Direkoğlu C, Şah M. Review of MRI-based Brain Tumor Image Segmentation Using Deep Learning Methods. Procedia Computer Science. 2016;102:317-324.
6. Havaei M, Davy A, Warde-Farley D, et al. Brain tumor segmentation with Deep Neural Networks. Med Image Anal. 2017;35:18-31.
7. Naceur MB, Saouli R, Akil M, et al. Fully Automatic Brain Tumor Segmentation using End-To-End Incremental Deep Neural Networks in MRI images. Comput Methods Programs Biomed. 2018;166:39-49.
8. Feng X, Tustison NJ, Patel SH, et al. Brain Tumor Segmentation Using an Ensemble of 3D U-Nets and Overall Survival Prediction Using Radiomic Features. Front Comput Neurosci. 2020;14:25.
9. Pereira S, Pinto A, Alves V, et al. Brain Tumor Segmentation Using Convolutional Neural Networks in MRI Images. IEEE Trans Med Imaging. 2016;35:1240-1251.
10. Wang G, Li W, Ourselin S, et al. Automatic Brain Tumor Segmentation Based on Cascaded Convolutional Neural Networks With Uncertainty Estimation. Front Comput Neurosci. 2019;13:56.
11. Shehab LH, Fahmy OM, Gasser SM, et al. An efficient brain tumor image segmentation based on deep residual networks (ResNets). Journal of King Saud University - Engineering Sciences. 2021;33:404-412.
12. Bal A, Banerjee M, Chaki R, et al. An efficient brain tumor image classifier by combining multi-pathway cascaded deep neural network and handcrafted features in MR images. Med Biol Eng Comput. 2021;59:1495-1527.
13. Cui S, Mao L, Jiang J, et al. Automatic Semantic Segmentation of Brain Gliomas from MRI Images Using a Deep Cascaded Neural Network. J Healthc Eng. 2018;2018:4940593.
14. Wang W, Chen C, Ding M, et al. TransBTS: Multimodal Brain Tumor Segmentation Using Transformer. Medical Image Computing and Computer Assisted Intervention – MICCAI 2021. 2021:109-119.
15. Gai D, Zhang J, Xiao Y, et al. RMTF-Net: Residual Mix Transformer Fusion Net for 2D Brain Tumor Segmentation. Brain Sci. 2022;12:1145.
16. Jia Q, Shu H. BiTr-Unet: a CNN-Transformer Combined Network for MRI Brain Tumor Segmentation. Brainlesion. 2021;2021:3-14.
17. Hatamizadeh A, Nath V, Tang Y, et al. Swin UNETR: Swin Transformers for Semantic Segmentation of Brain Tumors in MRI Images. Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries. BrainLes@ MICCAI. 2022;272-284.
18. Dai Y, Gao Y, Liu F. TransMed: Transformers Advance Multi-Modal Medical Image Classification. Diagnostics (Basel). 2021;11:1384.
19. Dosovitskiy A, Beyer L, Kolesnikov A, et al. An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. CoRR. 2020;abs/2010.11929.
20. Ronneberger O, Fischer P, Brox T. U-Net: Convolutional Networks for Biomedical Image Segmentation. Medical Image Computing and Computer- Assisted Intervention – MICCAI. 2015. 2015;234-241.
21. Kirillov A, Girshick R, He K, et al. Panoptic Feature Pyramid Networks. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2019;6399–6408.
22. Chen LC, Papandreou G, Schroff F, et al. Rethinking Atrous Convolution for Semantic Image Segmentation. ArXiv. 2017;abs/1706.05587.
23. Chen LC, Zhu Y, Papandreou G, et al. Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation. Computer Vision -- ECCV 2018. 2018;1:833-851.
24. Zheng S, Lu J, Zhao H. Rethinking Semantic Segmentation from a Sequenceto- Sequence Perspective with Transformers. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2021;6881-6890.
25. Strudel R, Garcia R, Laptev I, et al. Segmenter: Transformer for Semantic Segmentation. 2021 IEEE/CVF International Conference on Computer Vision (ICCV). 2021;7262-7272.
26. Ranftl R, Bochkovskiy A, Koltun V. Vision Transformers for Dense Prediction. 2021 IEEE/CVF International Conference on Computer Vision (ICCV). 2021;12179-12188.
27. Xie E, Wang W, Yu Z, et al. SegFormer: Simple and Efficient Design for Semantic Segmentation with Transformers. Advances in Neural Information Processing Systems. 2021;12077-12090.
28. Menze BH, Jakab A, Bauer S, et al. The Multimodal Brain Tumor Image Segmentation Benchmark (BRATS). IEEE Trans Med Imaging. 2015;34:1993- 2024.
29. Contributors M. MMSegmentation: OpenMMLab Semantic Segmentation Toolbox and Benchmark. Published 2020. https://github.com/open-mmlab/ mmsegmentation.

APA	Terzi R, Demirezen, Ph.D. M (2022). Açık Kaynak Veri Seti ile Eğitilen Yapay Zeka Modellerinin Klinik Ortamdaki Performans Analizi. , 25 - 34. 10.4274/atfm.galenos.2022.97830
Chicago	Terzi Ramazan,Demirezen, Ph.D. Mustafa Umut Açık Kaynak Veri Seti ile Eğitilen Yapay Zeka Modellerinin Klinik Ortamdaki Performans Analizi. (2022): 25 - 34. 10.4274/atfm.galenos.2022.97830
MLA	Terzi Ramazan,Demirezen, Ph.D. Mustafa Umut Açık Kaynak Veri Seti ile Eğitilen Yapay Zeka Modellerinin Klinik Ortamdaki Performans Analizi. , 2022, ss.25 - 34. 10.4274/atfm.galenos.2022.97830
AMA	Terzi R,Demirezen, Ph.D. M Açık Kaynak Veri Seti ile Eğitilen Yapay Zeka Modellerinin Klinik Ortamdaki Performans Analizi. . 2022; 25 - 34. 10.4274/atfm.galenos.2022.97830
Vancouver	Terzi R,Demirezen, Ph.D. M Açık Kaynak Veri Seti ile Eğitilen Yapay Zeka Modellerinin Klinik Ortamdaki Performans Analizi. . 2022; 25 - 34. 10.4274/atfm.galenos.2022.97830
IEEE	Terzi R,Demirezen, Ph.D. M "Açık Kaynak Veri Seti ile Eğitilen Yapay Zeka Modellerinin Klinik Ortamdaki Performans Analizi." , ss.25 - 34, 2022. 10.4274/atfm.galenos.2022.97830
ISNAD	Terzi, Ramazan - Demirezen, Ph.D., Mustafa Umut. "Açık Kaynak Veri Seti ile Eğitilen Yapay Zeka Modellerinin Klinik Ortamdaki Performans Analizi". (2022), 25-34. https://doi.org/10.4274/atfm.galenos.2022.97830

APA	Terzi R, Demirezen, Ph.D. M (2022). Açık Kaynak Veri Seti ile Eğitilen Yapay Zeka Modellerinin Klinik Ortamdaki Performans Analizi. Ankara Üniversitesi Tıp Fakültesi Mecmuası, 75(1), 25 - 34. 10.4274/atfm.galenos.2022.97830
Chicago	Terzi Ramazan,Demirezen, Ph.D. Mustafa Umut Açık Kaynak Veri Seti ile Eğitilen Yapay Zeka Modellerinin Klinik Ortamdaki Performans Analizi. Ankara Üniversitesi Tıp Fakültesi Mecmuası 75, no.1 (2022): 25 - 34. 10.4274/atfm.galenos.2022.97830
MLA	Terzi Ramazan,Demirezen, Ph.D. Mustafa Umut Açık Kaynak Veri Seti ile Eğitilen Yapay Zeka Modellerinin Klinik Ortamdaki Performans Analizi. Ankara Üniversitesi Tıp Fakültesi Mecmuası, vol.75, no.1, 2022, ss.25 - 34. 10.4274/atfm.galenos.2022.97830
AMA	Terzi R,Demirezen, Ph.D. M Açık Kaynak Veri Seti ile Eğitilen Yapay Zeka Modellerinin Klinik Ortamdaki Performans Analizi. Ankara Üniversitesi Tıp Fakültesi Mecmuası. 2022; 75(1): 25 - 34. 10.4274/atfm.galenos.2022.97830
Vancouver	Terzi R,Demirezen, Ph.D. M Açık Kaynak Veri Seti ile Eğitilen Yapay Zeka Modellerinin Klinik Ortamdaki Performans Analizi. Ankara Üniversitesi Tıp Fakültesi Mecmuası. 2022; 75(1): 25 - 34. 10.4274/atfm.galenos.2022.97830
IEEE	Terzi R,Demirezen, Ph.D. M "Açık Kaynak Veri Seti ile Eğitilen Yapay Zeka Modellerinin Klinik Ortamdaki Performans Analizi." Ankara Üniversitesi Tıp Fakültesi Mecmuası, 75, ss.25 - 34, 2022. 10.4274/atfm.galenos.2022.97830
ISNAD	Terzi, Ramazan - Demirezen, Ph.D., Mustafa Umut. "Açık Kaynak Veri Seti ile Eğitilen Yapay Zeka Modellerinin Klinik Ortamdaki Performans Analizi". Ankara Üniversitesi Tıp Fakültesi Mecmuası 75/1 (2022), 25-34. https://doi.org/10.4274/atfm.galenos.2022.97830