Yıl: 2022 Cilt: 37 Sayı: 1 Sayfa Aralığı: 29 - 46 Metin Dili: Türkçe DOI: 10.17341/gazimmfd.774200 İndeks Tarihi: 29-07-2022

Bilgisayarlı tomografi taramaları üzerinde maskeli bölgesel-evrişimsel sinir ağları ile karaciğerin otomatik bölütlenmesi

Öz:
Bilgisayarlı Tomografi (BT) görüntülerinde her bir kesitte ortaya çıkan şekil, sınır ve yoğunluk gibi değişikliklerden dolayı karaciğerin bölütlenmesi zor bir süreç olarak durmaktadır. Diğer bölütleme yöntemleri ile karşılaştırıldığında, derin öğrenme modelleri ile daha başarılı bölütleme sonuçları genel fenomendir. Bu çalışmada, abdomen bölgesinden alınmış BT taramalarındaki kesitler üzerinde karaciğerin bilgisayar destekli otomatik bölütlenmesi için, Maskeli Bölgesel-Evrişimsel Sinir Ağları (Maskeli B-ESA) kullanılarak çoklu-GPU ile hızlandırılmış bir yöntem önerilmiştir. Bu çalışmaya özgü hazırlanan karaciğer BT görüntü veriseti üzerinde, hem tek hem de çift GPU donanımsal yapısı ile deneysel çalışmalar yürütülmüştür. Önerilen yöntem kullanılarak elde edilen sonuçlar ile uzman hekim tarafından bulunan bölütleme sonuçları Dice benzerlik katsayısı (DSC), Jaccard benzerlik katsayısı (JSC), volumetrik örtüşme hatası (VOE), ortalama simetrik yüzey mesafesi (ASD) ve oransal hacim farkı (RVD) ölçüm parametreleri ile karşılaştırılmıştır. Önerilen yaklaşım ile test görüntüleri üzerinde yürütülen deneysel çalışmalarda DSC, JSC, VOE, ASD ve RVD bölütleme başarım metrikleri, sırasıyla 97.32, 94.79, 5.21, 0.390, -1.008 olarak hesaplanmıştır. Bu sonuçlar ile bu çalışma kapsamında önerilen yöntemin, karaciğerin bölütlenmesi için hekimlerin karar verme süreçlerinde yardımcı bir araç olarak kullanılabileceği görülmüştür.
Anahtar Kelime: Görüntü Bölütleme Karaciğer Taramaları GPU Bilgisayarlı Tomografi Maskeli Bölgesel-Evrişimsel Sinir Ağları

Automated liver segmentation using Mask R-CNN on computed tomography scans

Öz:
Due to changes such as shape, border and density that occur in the slices of computed tomography (CT) images, liver segmentation remains a difficult process. Compared to other segmentation methods, more successful segmentation results with deep learning models are general phenomenon. In this study, a method accelerated with a multi-GPU is proposed for computer-aided automatic segmentation of the liver on CT scans obtained from the abdominal region using Mask Regional-Convolutional Neural Networks (Mask R-CNN). Experimental studies are conducted on liver CT image datasets to specific for this study with both single and double GPU hardware structure. The results obtained using the proposed method and the segmentation results realized by the specialist physician compared with parameters such as Dice similarity coefficient (DSC), Jaccard similarity coefficient (JSC), volumetric overlap error (VOE), average symmetric surface distance (ASD) and relative volume difference (RVD) metrics. In experimental studies carried out on the test images with the proposed approach, DSC, JSC, VOE, ASD and RVD segmentation performance metrics are gained as 97.32, 94.79, 5.21, 0.390, -1.008, respectively. With these results, it is seen that the proposed method in this study can be used as a secondary tool in the decision making processes of physicians for the segmentation of the liver.
Anahtar Kelime:

Belge Türü: Makale Makale Türü: Araştırma Makalesi Erişim Türü: Erişime Açık
  • 1. Bogovic J. A., Prince J. L. Bazin P.-L., A multiple object geometric deformable model for image segmentation, Computer Vision and Image Understanding, 117 (2), 145-157, 2013.
  • 2. Lu X., Wu J., Ren X., Zhang B. Li Y., The study and application of the improved region growing algorithm for liver segmentation, Optik-International Journal for Light and Electron Optics, 125 (9), 2142-2147, 2014.
  • 3. Kaya H., Çavuşoğlu A., Çakmak H. B., Şen B. Delen D., Supporting the diagnosis process and processes after treatment by using image segmentation and image simulation techniques: Keratoconus example, Journal of The Faculty of Engineering and Architecture of Gazi University, 31 (3), 737-747, 2016.
  • 4. Dandıl E., An Application for Computer-Assisted Automatic Segmentation of Liver on Computed Tomography Images, Gazi University Science Journal: PART:C ‘Design and Technology’, 7 (3), 712-728, 2019.
  • 5. Selvi E., Selver M. A., Kavur A., Güzeliş C. Dicle O., Segmentation of Abdomınal Organs from MR Images using Multi-Level Hierarchical Classification, Journal of the Faculty of Engineering and Architecture of Gazi University, 30 (3), 533-546, 2015.
  • 6. Von Landesberger T., Bremm S., Kirschner M., Wesarg S. Kuijper A., Visual analytics for model-based medical image segmentation: Opportunities and challenges, Expert Systems with Applications, 40 (12), 4934-4943, 2013.
  • 7. Huang Q., Ding H., Wang X. Wang G., Fully automatic liver segmentation in CT images using modified graph cuts and feature detection, Computers in biology and medicine, 95, 198-208, 2018.
  • 8. Gotra A., Sivakumaran L., Chartrand G., Vu K.-N., Vandenbroucke-Menu F., Kauffmann C., Kadoury S., Gallix B., de Guise J. A. Tang A., Liver segmentation: indications, techniques and future directions, Insights into imaging, 8 (4), 377-392, 2017.
  • 9. Moghbel M., Mashohor S., Mahmud R. Saripan M. I. B., Review of liver segmentation and computer assisted detection/diagnosis methods in computed tomography, Artif. Intell. Rev., 50 (4), 497-537, 2018.
  • 10. Heimann T., Van Ginneken B., Styner M. A., Arzhaeva Y., Aurich V., Bauer C., Beck A., Becker C., Beichel R. Bekes G., Comparison and evaluation of methods for liver segmentation from CT datasets, IEEE transactions on medical imaging, 28 (8), 1251-1265, 2009.
  • 11. Kainmüller D., Lange T. Lamecker H., Shape constrained automatic segmentation of the liver based on a heuristic intensity model, Proc. of the MICCAI Workshop 3D Segmentation in the Clinic: A Grand Challenge, 109-116, 2007.
  • 12. Zareei A. Karimi A., Liver segmentation with new supervised method to create initial curve for active contour, Computers in Biology and Medicine, 75, 139- 150, 2016.
  • 13. Boykov Y. Funka-Lea G., Graph cuts and efficient ND image segmentation, International journal of computer vision, 70 (2), 109-131, 2006.
  • 14. Lu F., Wu F., Hu P., Peng Z. Kong D., Automatic 3D liver location and segmentation via convolutional neural network and graph cut, Int. J. Comput. Assist. Radiol. Surg., 12 (2), 171-182, 2017.
  • 15. Qiao Y., Cappelle C., Ruichek Y. Yang T., ConvNet and LSH-Based Visual Localization Using Localized Sequence Matching, Sensors, 19 (11), 2439, 2019.
  • 16. Elmas B., Identifying species of trees through bark images by convolutional neural networks with transfer learning method, Journal of The Faculty of Engineering and Architecture of Gazi University, 36 (3), 1253-1270,2021.
  • 17. Andrew W., Greatwood C. Burghardt T., Visual localisation and individual identification of holstein friesian cattle via deep learning, Proc. of the IEEE International Conference on Computer Vision, 2850- 2859, 2017.
  • 18. Pinheiro P. O., Collobert R. Dollár P., Learning to segment object candidates, Proc. of the 28th International Conference on Advances in Neural Information Processing Systems (NIPS’15), 1990-1998, 2015.
  • 19. Pinheiro P. O., Lin T.-Y., Collobert R. Dollár P., Learning to refine object segments, Proceedings of the European Conference on Computer Vision (ECCV 2016), 75-91, 2016.
  • 20. He K., Gkioxari G., Dollár P. Girshick R., Mask r-cnn, Proceedings of the IEEE international conference on computer vision, 2961-2969, 2017.
  • 21. Wu W., Zhou Z., Wu S. Zhang Y., Automatic liver segmentation on volumetric CT images using supervoxel-based graph cuts, Computational and mathematical methods in medicine, vol. 2016, 2016.
  • 22. Liao M., Zhao Y.-q., Wang W., Zeng Y.-z., Yang Q., Shih F. Y. Zou B.-j., Efficient liver segmentation in CT images based on graph cuts and bottleneck detection, Physica Medica, 32 (11), 1383-1396, 2016.
  • 23. Liao M., Zhao Y.-q., Liu X.-y., Zeng Y.-z., Zou B.-j., Wang X.-f. Shih F. Y., Automatic liver segmentation from abdominal CT volumes using graph cuts and border marching, Computer methods and programs in biomedicine, 143, 1-12, 2017.
  • 24. Zeng Y.-z., Liao S.-h., Tang P., Zhao Y.-q., Liao M., Chen Y. Liang Y.-x., Automatic liver vessel segmentation using 3D region growing and hybrid active contour model, Computers in biology and medicine, 97, 63-73, 2018.
  • 25. Yang X., Do Yang J., Hwang H. P., Yu H. C., Ahn S., Kim B.-W. You H., Segmentation of liver and vessels from CT images and classification of liver segments for preoperative liver surgical planning in living donor liver transplantation, Computer methods and programs in biomedicine, 158, 41-52, 2018.
  • 26. Lu X., Wu J., Ren X., Zhang B. Li Y., The study and application of the improved region growing algorithm for liver segmentation, Optik, 125 (9), 2142-2147, 2014.
  • 27. Foruzan A. H., Zoroofi R. A., Hori M. Sato Y., A knowledge-based technique for liver segmentation in CT data, Computerized Medical Imaging and Graphics, 33 (8), 567-587, 2009.
  • 28. Lim S.-J., Jeong Y.-Y. Ho Y.-S., Automatic liver segmentation for volume measurement in CT Images, Journal of Visual Communication and Image Representation, 17 (14), 860-875, 2006.
  • 29. Huang L., Weng M., Shuai H., Huang Y., Sun J. Gao F., Automatic liver segmentation from CT images using single-block linear detection, BioMed research international, vol. 2016, 2016.
  • 30. Liu Z., Song Y.-Q., Sheng V. S., Wang L., Jiang R., Zhang X. Yuan D., Liver CT sequence segmentation based with improved U-Net and graph cut, Expert Systems with Applications, 126, 54-63, 2019.
  • 31. Budak Ü., Guo Y., Tanyildizi E. Şengür A., Cascaded deep convolutional encoder-decoder neural networks for efficient liver tumor segmentation, Medical hypotheses, 134, 109431, 2020.
  • 32. Mulay S., Deepika G., Jeevakala S., Ram K. Sivaprakasam M., Liver Segmentation from Multimodal Images Using HED-Mask R-CNN, Int. Workshop on Multiscale Multimodal Medical Imaging, 68-75, 2019.
  • 33. Segmentation of the Liver Competition 2007 (SLIVER07). https://sliver07 .grand- challenge. org/. Erişim Tarihi: 15/12/2020.
  • 34. 3Dircadb. https://www.ircad. fr/research/ 3dircadb/. Erişim Tarihi: 15.12.2020.
  • 35. Soler L., Hostettler A., Agnus V., Charnoz A., Fasquel J., Moreau J., Osswald A., Bouhadjar M. Marescaux J., 3D image reconstruction for comparison of algorithm database: A patient specific anatomical and medical image database, IRCAD, Strasbourg, France, Tech. Rep, 2010.
  • 36. Kusrini K., Suputa S., Setyanto A., Agastya I. M. A., Priantoro H., Chandramouli K. Izquierdo E., Data augmentation for automated pest classification in Mango farms, Computers and Electronics in Agriculture, 179, 105842, 2020.
  • 37. Keras. https://keras.io. Erişim Tarihi: 26.12.2020.
  • 38. Chollet F., Image preprocessing – Keras documentation. https://keras.io/api/preprocessing/image/. Erişim Tarihi: 26.12.2020.
  • 39. Jia W., Tian Y., Luo R., Zhang Z., Lian J. Zheng Y., Detection and segmentation of overlapped fruits based on optimized mask R-CNN application in apple harvesting robot, Computers and Electronics in Agriculture, 172, 105380, 2020.
  • 40. He K., Gkioxari G., Dollar P. Girshick R., Mask RCNN, IEEE Transactions on Pattern Analysis and Machine Intelligence, 42 (2), 386-397, 2020.
  • 41. Dandıl E. Polattimur R., Dog Behavior Recognition and Tracking based on Faster R-CNN, Journal of the Faculty of Engineering and Architecture of Gazi University, 35 (2), 819-834, 2020.
  • 42. Yu Y., Zhang K., Yang L. Zhang D., Fruit detection for strawberry harvesting robot in non-structural environment based on Mask-RCNN, Computers and Electronics in Agriculture, 163, 104846, 2019.
  • 43. Jiang J., Bie Y., Li J., Yang X., Ma G., Lu Y. Zhang C., Fault diagnosis of the bushing infrared images based on mask R CNN and improved PCNN joint algorithm, High Voltage, 6, 116-124, 2021.
  • 44. Lin T.-Y., Dollár P., Girshick R., He K., Hariharan B. Belongie S., Feature pyramid networks for object detection, Proceedings of the IEEE conference on computer vision and pattern recognition, 2117-2125, 2017.
  • 45. Qiao Y., Truman M. Sukkarieh S., Cattle segmentation and contour extraction based on Mask R-CNN for precision livestock farming, Computers and Electronics in Agriculture, 165, 104958, 2019.
  • 46. Zimmermann R. S. Siems J. N., Faster training of Mask R-CNN by focusing on instance boundaries, Computer Vision and Image Understanding, 188, 102795, 2019.
  • 47. Abdulla W., Mask R-CNN for object detection and instance segmentation on Keras and TensorFlow: matterport/Mask_RCNN, https://github. com/matterport/Mask_RCNN, 2017, Erişim Tarihi: 26.12.2020.
  • 48. Ronneberger O., Fischer P. Brox T., U-net: Convolutional networks for biomedical image segmentation, Proc. of the Int. Conference on Medical image computing and computer-assisted intervention, 234-241, 2015.
  • 49. Jeevakala S., Sreelakshmi C., Ram K., Rangasami R. Sivaprakasam M., Artificial intelligence in detection and segmentation of internal auditory canal and its nerves using deep learning techniques, International Journal of Computer Assisted Radiology and Surgery, 15, 1859-1867, 2020.
  • 50. Hu X. Yang H., DRU-net: a novel U-net for biomedical image segmentation, IET Image Processing, 14 (1), 192- 200, 2019.
  • 51. Kingma D. P. Ba J., Adam: A method for stochastic optimization, arXiv preprint arXiv:1412.6980, 2014.
  • 52. Dice L. R., Measures of the amount of ecologic association between species, Ecology, 26 (3), 297-302, 1945.
  • 53. Yuan Y., Chao M. Lo Y.-C., Automatic skin lesion segmentation using deep fully convolutional networks with jaccard distance, IEEE transactions on medical imaging, 36 (9), 1876-1886, 2017.
  • 54. Ohyver M., Moniaga J. V., Sungkawa I., Subagyo B. E. Chandra I. A., The Comparison Firebase Realtime Database and MySQL Database Performance using Wilcoxon Signed-Rank Test, Procedia Computer Science, 157, 396-405, 2019.
  • 55. Al-Shaikhli S. D. S., Yang M. Y. Rosenhahn B., 3D automatic liver segmentation using feature-constrained Mahalanobis distance in CT images, Biomedical Eng./Biomedizinische Technik, 61 (4), 401-412, 2016.
  • 56. Moghbel M., Mashohor S., Mahmud R. Saripan M. I. B., Automatic liver segmentation on computed tomography using random walkers for treatment planning, EXCLI journal, 15, 500, 2016.
  • 57. Ben-Cohen A., Diamant I., Klang E., Amitai M. Greenspan H., Fully convolutional network for liver segmentation and lesions detection, In:Deep learning and data labeling for medical applications, Springer, Cham, 77-85, 2016.
  • 58. Bal E., Klang E., Amitai M. Greenspan H., Automatic liver volume segmentation and fibrosis classification, Medical Imaging 2018: Computer-Aided Diagnosis, 1057506, 2018.
  • 59. Kriston A., Czipczer V., Manno-Kovács A., Kovács L., Benedek C. Szirányi T., Segmentation of multiple organs in Computed Tomography and Magnetic Resonance Imaging measurements, 3D Conference Engineering Section Pécs, Hungary, 51, 2018.
  • 60. Ahmad M., Ai D., Xie G., Qadri S. F., Song H., Huang Y., Wang Y. Yang J., Deep belief network modeling for automatic liver segmentation, IEEE Access, 7, 20585- 20595, 2019.
  • 61. Hassanzadeh T., Essam D. Sarker R., Evolutionary Attention Network for Medical Image Segmentation, Proc. of the Int. Conf. on Digital Image Computing: Techniques and Applications (DICTA), 1-8, 2020.
  • 62. Christ P. F., Ettlinger F., Grün F., Elshaera M. E. A., Lipkova J., Schlecht S., Ahmaddy F., Tatavarty S., Bickel M. Bilic P., Automatic liver and tumor segmentation of CT and MRI volumes using cascaded fully convolutional neural networks, arXiv preprint arXiv:1702.05970, 2017.
  • 63. Alirr O. I. Rahni A., Automatic liver segmentation from ct scans using intensity analysis and level-set active contours, J Eng Sci Technol, 13 (11), 3821-3839, 2018.
  • 64. Nasiri N., Foruzan A. H. Chen Y.-W., A controlled generative model for segmentation of liver tumors, 2019 Proc. of the 27th Iranian Conference on Electrical Engineering (ICEE), 1742-1745, 2019.
  • 65. Wang K., Mamidipalli A., Retson T., Bahrami N., Hasenstab K., Blansit K., Bass E., Delgado T., Cunha G. Middleton M. S., Automated CT and MRI liver segmentation and biometry using a generalized convolutional neural network, Radiology: Artificial Intelligence, 1 (2), 180022, 2019.
  • 66. Cheema M. N., Nazir A., Sheng B., Li P., Qin J. Feng D. D., Liver Extraction Using Residual Convolution Neural Networks From Low-Dose CT Images, IEEE Transactions on Biomedical Engineering, 66 (9), 2641- 2650, 2019.
APA Dandıl E, YILDIRIM M, Selvi A, UZUN S (2022). Bilgisayarlı tomografi taramaları üzerinde maskeli bölgesel-evrişimsel sinir ağları ile karaciğerin otomatik bölütlenmesi. , 29 - 46. 10.17341/gazimmfd.774200
Chicago Dandıl Emre,YILDIRIM Mehmet Süleyman,Selvi Ali Osman,UZUN Süleyman Bilgisayarlı tomografi taramaları üzerinde maskeli bölgesel-evrişimsel sinir ağları ile karaciğerin otomatik bölütlenmesi. (2022): 29 - 46. 10.17341/gazimmfd.774200
MLA Dandıl Emre,YILDIRIM Mehmet Süleyman,Selvi Ali Osman,UZUN Süleyman Bilgisayarlı tomografi taramaları üzerinde maskeli bölgesel-evrişimsel sinir ağları ile karaciğerin otomatik bölütlenmesi. , 2022, ss.29 - 46. 10.17341/gazimmfd.774200
AMA Dandıl E,YILDIRIM M,Selvi A,UZUN S Bilgisayarlı tomografi taramaları üzerinde maskeli bölgesel-evrişimsel sinir ağları ile karaciğerin otomatik bölütlenmesi. . 2022; 29 - 46. 10.17341/gazimmfd.774200
Vancouver Dandıl E,YILDIRIM M,Selvi A,UZUN S Bilgisayarlı tomografi taramaları üzerinde maskeli bölgesel-evrişimsel sinir ağları ile karaciğerin otomatik bölütlenmesi. . 2022; 29 - 46. 10.17341/gazimmfd.774200
IEEE Dandıl E,YILDIRIM M,Selvi A,UZUN S "Bilgisayarlı tomografi taramaları üzerinde maskeli bölgesel-evrişimsel sinir ağları ile karaciğerin otomatik bölütlenmesi." , ss.29 - 46, 2022. 10.17341/gazimmfd.774200
ISNAD Dandıl, Emre vd. "Bilgisayarlı tomografi taramaları üzerinde maskeli bölgesel-evrişimsel sinir ağları ile karaciğerin otomatik bölütlenmesi". (2022), 29-46. https://doi.org/10.17341/gazimmfd.774200
APA Dandıl E, YILDIRIM M, Selvi A, UZUN S (2022). Bilgisayarlı tomografi taramaları üzerinde maskeli bölgesel-evrişimsel sinir ağları ile karaciğerin otomatik bölütlenmesi. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, 37(1), 29 - 46. 10.17341/gazimmfd.774200
Chicago Dandıl Emre,YILDIRIM Mehmet Süleyman,Selvi Ali Osman,UZUN Süleyman Bilgisayarlı tomografi taramaları üzerinde maskeli bölgesel-evrişimsel sinir ağları ile karaciğerin otomatik bölütlenmesi. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi 37, no.1 (2022): 29 - 46. 10.17341/gazimmfd.774200
MLA Dandıl Emre,YILDIRIM Mehmet Süleyman,Selvi Ali Osman,UZUN Süleyman Bilgisayarlı tomografi taramaları üzerinde maskeli bölgesel-evrişimsel sinir ağları ile karaciğerin otomatik bölütlenmesi. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, vol.37, no.1, 2022, ss.29 - 46. 10.17341/gazimmfd.774200
AMA Dandıl E,YILDIRIM M,Selvi A,UZUN S Bilgisayarlı tomografi taramaları üzerinde maskeli bölgesel-evrişimsel sinir ağları ile karaciğerin otomatik bölütlenmesi. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi. 2022; 37(1): 29 - 46. 10.17341/gazimmfd.774200
Vancouver Dandıl E,YILDIRIM M,Selvi A,UZUN S Bilgisayarlı tomografi taramaları üzerinde maskeli bölgesel-evrişimsel sinir ağları ile karaciğerin otomatik bölütlenmesi. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi. 2022; 37(1): 29 - 46. 10.17341/gazimmfd.774200
IEEE Dandıl E,YILDIRIM M,Selvi A,UZUN S "Bilgisayarlı tomografi taramaları üzerinde maskeli bölgesel-evrişimsel sinir ağları ile karaciğerin otomatik bölütlenmesi." Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, 37, ss.29 - 46, 2022. 10.17341/gazimmfd.774200
ISNAD Dandıl, Emre vd. "Bilgisayarlı tomografi taramaları üzerinde maskeli bölgesel-evrişimsel sinir ağları ile karaciğerin otomatik bölütlenmesi". Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi 37/1 (2022), 29-46. https://doi.org/10.17341/gazimmfd.774200