Makine çevirisinden sohbet robotu çevirisine: ChatGPT ile deneysel bir çalışma
Yıl: 2023 Cilt: Sayı: 36 Sayfa Aralığı: 1532 - 1548 Metin Dili: Türkçe DOI: 10.29000/rumelide.1369589 İndeks Tarihi: 27-10-2023
Makine çevirisinden sohbet robotu çevirisine: ChatGPT ile deneysel bir çalışma
Öz: Bu çalışmanın amacı yakın zamanda kullanıma sunulmuş olan ve büyük dil modeline dayanan sohbet robotu ChatGPT’nin çeviri uygulamaları ve çeviri eğitimine yansımalarını irdelemektir. Bu amaç doğrultusunda ChatGPT’nin ücretsiz olarak erişilebilen 3.5 versiyonunun bir “çeviri görevi tanımı” (“translation brief”) (Nord, 1997, s. 30) doğrultusunda yaptığı çeviri ve “istem”lere (“prompt”) verdiği yanıtlar incelenmiştir. İnceleme nesnesini sağlık alanından bir bilgilendirici metin oluşturmaktadır. ChatGPT’ye çeviri “iş”inin (“commission”) “skopos”unu (Vermeer, 2000, s. 228) içeren bir “çeviri görevi tanımı” verilmiş; bu tanım doğrultusunda bir hasta bilgilendirme broşürü İngilizceden Türkçeye çevriltilmiş; MQM’de (Multidimensional Quality Metrics) belirtilen “doğruluk” (“accuracy”), “akıcılık” (“fluency”) ve “terminoloji” (“terminology”) hataları çeviride işaretlenmiştir. Ardından çeviri hatalarının düzeltilmesiyle ilgili bir dizi istem verilmiş ve sohbet robotunun çeviri kararları sorgulanmıştır. İncelemenin sonucunda robotun kendisine verilen anlık istemleri genellikle başarılı bir şekilde yerine getirirken bazı istemlere yanıt veremediği görülmüştür. Özellikle de terminoloji hatalarını düzeltme bağlamında, gerçek hayatta var olmayan bir terimi varmışçasına kullandığı, çeviri kararlarını gerekçelendirirken hatalı bilgiler verebildiği tespit edilmiştir. Dolayısıyla, insan çevirmenin müdahalesinin, özellikle de yüksek risk taşıyan metinlerin çevirisinde, şart olduğu görülmüştür. Nitekim aldığı çeviri kararlarının sorumluluğunu taşımak insan çevirmene özgüdür. Elde edilen bulgular doğrultusunda, çalışmada yapay zekâ teknolojilerinin beraberinde getirdiği, sohbet robotuna istem verme gibi yeni görevlerin çeviri eğitimine dahil edilmesi ve çeviri işlerinde ChatGPT vb. uygulamaları kullanmanın avantaj ve dezavantajlarıyla ilgili öğrencilerde farkındalık yaratılması önerilmektedir.
Anahtar Kelime: From machine translation to chatbot translation: An experimental study with ChatGPT
Öz: This study aims to scrutinize the translation feature of ChatGPT, a chatbot based on large language model that has been made available recently, and its impacts on translation practices and translator training. With this aim, a translation made by the free version of the chatbot (ChatGPT 3.5) in accordance with a “translation brief” (Nord, 1997, p. 30) and its responses to the “prompts” have been examined. An informative text from the field of health constitutes the object of this study. ChatGPT was given a “translation brief”, containing the “skopos” of the “translation commission” (Vermeer, 2000, p. 228), and asked to translate a patient information brochure from English to Turkish in line with the brief; and the “accuracy”, “fluency” and “terminology” errors as specified in MQM (Multidimensional Quality Metrics) were annotated in the translated text. Then, a series of prompts were given regarding the correction of translation errors, and the chatbot was inquired about its translation decisions. The results have shown that while the robot generally successfully fulfilled the instant prompts, it could not respond to some of them. It has been observed that particularly in terms of correcting terminology errors, the robot might use a term that does not exist in real life and that it might give incorrect information while justifying its translation decisions. It has been seen that the intervention of the human translator is essential, especially when translating high-risk texts. Thus, taking responsibility for the translation decisions made is unique to human translators. In line with these findings, this study recommends including new tasks brought by artificial intelligence technologies, such as prompting the chat robot, into translator training and raising awareness among students in terms of advantages and disadvantages of using applications like ChatGPT in translation commissions.
Anahtar Kelime: Belge Türü: Makale Makale Türü: Araştırma Makalesi Erişim Türü: Erişime Açık
- Alimen, N. ve Öner Bulut, S. (2020). Çevirinin teknolojikleşmesi bağlamında insan çevirmenin rollerini yeniden düşünmek: Çevirmen eğitiminde teknik metin yazarlığı. Turkish Studies-Language and Literature, 15(3), 1047–1062. doi:10.47845/TurkishStudies.45679
- Alimen, N., Öner Bulut, S. ve Karadağ, A. B. (2023). Yapay Zekâ, Dil ve Çeviri. B. Küçükcan ve B. F. Yıldırım (Ed.), Yapay Zekâ: Disiplinlerarası Yaklaşımlar içinde (s. 81-103). İstanbul: Vakıfbank Kültür Yayınları.
- Anders, B. A. (2023). Is using ChatGPT cheating, plagiarism, both, neither, or forward thinking?. Patterns, 4(3), 1-2. doi: 10.1016/j.patter.2023.100694
- Cadwell, P., o’Brien, S., ve Teixeira, C. S. (2018). Resistance and accommodation: factors for the (non-) adoption of machine translation among professional translators. Perspectives, 26(3), 301-321. doi: 10.1080/0907676X.2017.1337210
- Calvo, E. (2018). From translation briefs to quality standards: Functionalist theories in today's translation processes. Translation & Interpreting, 10(1), 18-32.
- Doherty, S. ve Kenny, D. (2014). The design and evaluation of a statistical machine translation syllabus for translation students. The Interpreter and Translator Trainer, 8(2), 295-315. doi: 10.1080/1750399X.2014.937571
- Doherty, S., Moorkens, J., Gaspari, F. ve Castilho, S. (2018). On education and training in translation quality assessment. J. Moorkens, S. Castilho, F. Gaspari ve S. Doherty (Ed.), Translation quality assessment: From principles to practice içinde (s. 95-106). Cham: Springer. doi: 10. 1007/978-3-319-91241-7_5
- Dorothy, K. (2022). Human and machine translation. Dorothy Kenny (Ed.), Machine translation for everyone: Empowering users in the age of artificial intelligence içinde (s. 23–49). Berlin: Language Science Press. doi: 10.5281/zenodo. 6759976
- Flanagan, M., ve Christensen, T. P. (2014). Testing post-editing guidelines: how translation trainees interpret them and how to tailor them for translator training purposes. The Interpreter and Translator Trainer, 8(2), 257-275. doi: 10.1080/1750399X.2014.936111
- Jang, M., ve Lukasiewicz, T. (2023). Consistency analysis of ChatGPT. arXiv. doi: 10.48550/arXiv.2303.06273
- Kenny, D., ve Doherty, S. (2014). Statistical machine translation in the translation curriculum: overcoming obstacles and empowering translators. The Interpreter and Translator Trainer, 8(2), 276-294. doi: 10.1080/1750399X.2014.936112
- Khademi, A. (2023). Can ChatGPT and bard generate aligned assessment items? A reliability analysis against human performance. Journal of Applied Learning & Teaching, 6(1), 75-80. doi: 0.37074/jalt.2023.6.1.28
- Kreger, V., Aintablian, H., Diamond, L. ve Taira, R. B. (2019). Google Translate as a tool for emergency department discharge ınstructions? not so fast! [Ek materyal]. Annals of Emergency Medicine, 74(4), S5-S6. doi: 10.1016/j.annemergmed.2019.08.013
- Luo, X. (2021). Translation in the time of COVID-19. Asia Pacific Translation and Intercultural Studies, 8(1), 1-3. doi: 10.1080/23306343.2021.1903183
- Mahadin, D. K. ve Olimat, S. N. (2022). Jordanian translators’ use of machine translation and glossary of COVID-19 terminology with reference to Arabic. New Voices in Translation Studies, 18(1), 25-54. Erişim adresi: https://newvoices.arts.chula.ac.th/index.php/en/article/view/473/523
- Massey, G. (2021). “Re-framing conceptual metaphor translation research in the age of neural machine translation: Investigating translators’ added value with products and processes.” Training Language and Culture, 5(1): 37–56. doi: 10.22363/2521-442X-2021-5-1-37-56
- Massey, G., ve Kiraly, D. (2019). The future of translator education: A dialogue. Cultus: The Journal of Intercultural Mediation and Communication, 12: 15–34. Erişim adresi: http://www.cultusjournal.com/files/Archives/Cultus_2019_12-_2.pdf#page=21
- Moorkens, J. (2017). Under pressure: Translation in times of austerity. Perspectives, 25(3), 464–477. doi: 10.1080/0907676X.2017.1285331
- Moorkens, J. (2018). What to expect from neural machine translation: A practical in-class translation evaluation exercise. The Interpreter and Translator Trainer, 12(4): 375–387. doi: 10.1080/1750399X.2018.1501639
- Nitzke, J., Hansen-Schirra, S. ve Canfora, C. (2019). Risk management and post-editing competence. The Journal of Specialised Translation, 31, 239-259. Erişim adresi: https://jostrans.org/issue31/ issue31_toc.php
- Nord, C. (1997). Translating as a purposeful activity: Functionalist approaches explained. Manchester: St. Jerome.
- O'Brien, S. (2012). Translation as human–computer interaction. Translation spaces, 1, 101-122. doi: 10.1075/ts.1.05obr
- O’Brien, S. (2022). How to deal with errors in machine translation: Postediting. Dorothy Kenny (Ed.), Machine translation for everyone: Empowering users in the age of artificial intelligence içinde (s. 105-120). Berlin: Language Science Press. doi: 10.5281/zenodo.6759982
- Olohan, M. (2011). Translators and translation technology: The dance of agency. Translation Studies 4(3), 342–357. doi: 10.1080/14781700.2011.589656
- Öner, I. ve Öner Bulut, S. (2021). Post-editing oriented human quality evaluation of neural machine translation in translator training: A study on perceived difficulties and benefits. transLogos Translation Studies Journal, 4(1), 100–124. doi: 10.29228/transLogos.33
- Öner Bulut, S. ve Alimen, N. (2023). Translator education as a collaborative quest for insights into the re-positioning of the human translator (educator) in the age of machine translation: the results of a learning experiment. The Interpreter and Translator Trainer. 17(3), 375-392. doi: 10.1080/1750399X.2023.2237837
- Öner Bulut, S. (2019). Integrating machine translation into translator training: Towards ‘human translator competence’? transLogos Translation Studies Journal, 2(2), 1–26. doi: 10. 29228/transLogos.11
- Pekcoşkun Güner, S. ve Güner, E. S. (2023). Çeviri iş akışında makine çevirisi sistemleri ve sohbet robotlarının bütünleşik kullanımı. RumeliDE Dil ve Edebiyat Araştırmaları Dergisi, (Ö12), 739-757. doi: 10.29000/rumelide.1330542
- Ragni, V. ve Nunes Vieira, L. (2022). What has changed with neural machine translation? A critical review of human factors. Perspectives, 30(1), 137-158. doi: 10.1080/0907676X.2021.1889005
- Reiss, K. (1988). Metne bağımlı çeviri stratejileri (G. Refiğ, Çev.). Metis Çeviri, 3, 72-82. (Orijinal eserin yayın tarihi 1983).
- Shen, X., Chen, Z., Backes, M. ve Zhang, Y. (2023). In ChatGPT we trust? measuring and characterizing the reliability of ChatGPT. arXiv. doi: 10.48550/arXiv.2304.08979
- Törnberg, P. (2023). ChatGPT-4 outperforms experts and crowd workers in annotating political twitter messages with zero-shot learning. arXiv. doi: 10.48550/arXiv.2304.06588
- Vermeer, H. J. (2000). “Skopos and Commission in Translational Action.” (A. Chesterman, Çev.). L. Venuti (Ed.), The Translation Studies Reader içinde (s. 221–232). Londra: Routledge.
- Vermeer, H. J. (2004). Çevirinin doğası-bir özet (Ş. Bahadır ve D. Dizdar, Çev.). M. Rifat (Ed.), Çeviri seçkisi 2: Çeviri(bilim) nedir? içinde (s. 257-267). İstanbul: Dünya Yayıncılık. (Orijinal eserin yayın tarihi 2003).
- Vieira, L. N. ve Alonso, E. (2020) Translating perceptions and managing expectations: an analysis of management and production perspectives on machine translation. Perspectives, 28(2), 163-184. doi: 10.1080/0907676X.2019.1646776
- Walker, H. L., Ghani, S., Kuemmerli, C., Nebiker, C. A., Müller, B. P., Raptis, D. A. ve Staubli, S. M. (2023). Reliability of medical information provided by ChatGPT: Assessment against clinical guidelines and patient information quality instrument. Journal of Medical Internet Research, 25. doi:10.2196/47479
- White, J., Fu, Q., Hays, S., Sandborn, M., Olea, C., Gilbert, … J. ve Schmidt, D. C. (2023). A prompt pattern catalog to enhance prompt engineering with ChatGPT. arXiv. Erişim adresi: https://arxiv.org/pdf/2302.11382.pdf
- Williamson, J. M. L., ve Martin, A. G. (2010). Analysis of patient information leaflets provided by a district general hospital by the Flesch and Flesch–Kincaid method. International journal of clinical practice, 64(13), 1824-1831. doi: 10.1111/j.1742-1241.2010.02408.x
- Yamada, M. (2023). Optimizing machine translation through prompt engineering: An investigation into ChatGPT’s customizability. arXiv. doi: 10.48550/arXiv.2308.01391
| APA | ALIMEN N (2023). Makine çevirisinden sohbet robotu çevirisine: ChatGPT ile deneysel bir çalışma. , 1532 - 1548. 10.29000/rumelide.1369589 |
| Chicago | ALIMEN NILÜFER Makine çevirisinden sohbet robotu çevirisine: ChatGPT ile deneysel bir çalışma. (2023): 1532 - 1548. 10.29000/rumelide.1369589 |
| MLA | ALIMEN NILÜFER Makine çevirisinden sohbet robotu çevirisine: ChatGPT ile deneysel bir çalışma. , 2023, ss.1532 - 1548. 10.29000/rumelide.1369589 |
| AMA | ALIMEN N Makine çevirisinden sohbet robotu çevirisine: ChatGPT ile deneysel bir çalışma. . 2023; 1532 - 1548. 10.29000/rumelide.1369589 |
| Vancouver | ALIMEN N Makine çevirisinden sohbet robotu çevirisine: ChatGPT ile deneysel bir çalışma. . 2023; 1532 - 1548. 10.29000/rumelide.1369589 |
| IEEE | ALIMEN N "Makine çevirisinden sohbet robotu çevirisine: ChatGPT ile deneysel bir çalışma." , ss.1532 - 1548, 2023. 10.29000/rumelide.1369589 |
| ISNAD | ALIMEN, NILÜFER. "Makine çevirisinden sohbet robotu çevirisine: ChatGPT ile deneysel bir çalışma". (2023), 1532-1548. https://doi.org/10.29000/rumelide.1369589 |
| APA | ALIMEN N (2023). Makine çevirisinden sohbet robotu çevirisine: ChatGPT ile deneysel bir çalışma. RumeliDE Dil ve Edebiyat Araştırmaları Dergisi, (36), 1532 - 1548. 10.29000/rumelide.1369589 |
| Chicago | ALIMEN NILÜFER Makine çevirisinden sohbet robotu çevirisine: ChatGPT ile deneysel bir çalışma. RumeliDE Dil ve Edebiyat Araştırmaları Dergisi , no.36 (2023): 1532 - 1548. 10.29000/rumelide.1369589 |
| MLA | ALIMEN NILÜFER Makine çevirisinden sohbet robotu çevirisine: ChatGPT ile deneysel bir çalışma. RumeliDE Dil ve Edebiyat Araştırmaları Dergisi, vol., no.36, 2023, ss.1532 - 1548. 10.29000/rumelide.1369589 |
| AMA | ALIMEN N Makine çevirisinden sohbet robotu çevirisine: ChatGPT ile deneysel bir çalışma. RumeliDE Dil ve Edebiyat Araştırmaları Dergisi. 2023; (36): 1532 - 1548. 10.29000/rumelide.1369589 |
| Vancouver | ALIMEN N Makine çevirisinden sohbet robotu çevirisine: ChatGPT ile deneysel bir çalışma. RumeliDE Dil ve Edebiyat Araştırmaları Dergisi. 2023; (36): 1532 - 1548. 10.29000/rumelide.1369589 |
| IEEE | ALIMEN N "Makine çevirisinden sohbet robotu çevirisine: ChatGPT ile deneysel bir çalışma." RumeliDE Dil ve Edebiyat Araştırmaları Dergisi, , ss.1532 - 1548, 2023. 10.29000/rumelide.1369589 |
| ISNAD | ALIMEN, NILÜFER. "Makine çevirisinden sohbet robotu çevirisine: ChatGPT ile deneysel bir çalışma". RumeliDE Dil ve Edebiyat Araştırmaları Dergisi 36 (2023), 1532-1548. https://doi.org/10.29000/rumelide.1369589 |
