Dereceli Puanlama Anahtarlarının Güvenirliğinin Farklı Deneyim Yıllarına Sahip Puanlayıcıların Kullanıldığı Durumlarda İncelenmesi
Yıl: 2018 Cilt: 17 Sayı: 2 Sayfa Aralığı: 1066 - 1076 Metin Dili: Türkçe İndeks Tarihi: 14-03-2023
Dereceli Puanlama Anahtarlarının Güvenirliğinin Farklı Deneyim Yıllarına Sahip Puanlayıcıların Kullanıldığı Durumlarda İncelenmesi
Öz: Bu araştırmanın temel amacı; dereceli puanlama anahtarı (DPA) kullanmaya ilişkin deneyim yılınınpuanlayıcı güvenirliğine etkisini belirlemektir. Bu amaçla DPA kullanmaya ilişkin farklı deneyim yılınasahip üç grup puanlayıcının bulunduğu durumlarda elde edilen G ve Phi çalışması sonuçlarıkarşılaştırılmıştır. Birinci grupta DPA kullanmaya ilişkin deneyimi az olan (1 yıl ve daha az ) ikinci gruptaDPA kullanmaya ilişkin deneyimi çok olan( 5 yıl ve daha fazla) puanlayıcılar yer almaktadır. Üçüncü gruptaise deneyimi az ve çok olan puanlayıcılar bir arada yer almışlardır. Araştırmada üç farklı grupta yer alanpuanlayıcılar İngilizce yazma becerisini ölçmeye yönelik geliştirilmiş açık uçlu bir başarı testini aynı DPA’yıkullanarak puanlamışlardır. Çalışmaya özel bir üniversitede hazırlık eğitimi alan 120 öğrenci ve aynıokulda çalışan 12 okutman dâhil edilmiştir. Araştırmada, birey ve puanlayıcıların maddeler ileçaprazlandığı ancak bireylerin puanlayıcılara yuvalandığı desenden ((b:p)xm) faydalanılmıştır. Araştırmasonucunda nitelikli bir DPA kullanıldığında DPA kullanmaya ilişkin deneyim yılının puanlayıcı güvenirliğiüzerinde etkili olmadığı belirlenmiştir.
Anahtar Kelime: The Examination of Realiability of Scoring Rubrics Regarding Raters with Different Experience Years
Öz: The main goal of this study is to determine the role of experience years in using scoring rubric on inter-rater reliability. In regards to this objective; the results of G and Phi studies that were obtained by three groups of raters in one of which there are raters who have much experience in using scoring rubric; in one of which there are raters who have little experience in using scoring rubric and in one of which there is a rater with much experience and one with little experience in evaluating students using scoring rubric in the process of written performance assessment with (s:r)xi design were compared. Raters in three different groups evaluated an open ended achievement test developed to test students’ written English written skills with the same scoring rubric. 120 students who study at the prep-class of a private university and 12 instructors that work at the same school participated to the study. In the study, a nested ((b:p)xm) design in which individuals are nested in raters but individuals and raters are crossed with items and raters was utilized. Based on the findings, it is found out that experience year in using scoring rubric doesn’t affect reliability when a qualified scoring rubric is employed.
Anahtar Kelime: Belge Türü: Makale Makale Türü: Araştırma Makalesi Erişim Türü: Erişime Açık
- Andrade, H. G. & Du, Y., (2005).Student perspectives on rubric-referenced assessment. Practical Assessment, Research&Evaluation.Vol.10 Number 3, 6-7.
- Aslanoğlu, A. E. ve Kutlu, Ö. (2003). Öğretimde sunu becerilerinin değerlendirilmesinde dereceli puanlama anahtarı (rubric) kullanılmasına ilişkin bir araştırma. Ankara Üniversitesi Eğitim Bilimleri Fakültesi Dergisi, Sayı 36 (1-2), 25-36.
- Büyükkıdık S. ve Anıl, D., (2015). Performansa Dayalı Durum Belirlemede Güvenirliğin Genellenebilirlik Kuramında Farklı Desenlerle İncelenmesi. Eğitim ve Bilim Dergisi: 40 (177), 285-296.
- Crocker, L., & Algina, J. (1986). Introduction to Classicaland Modern Test Theory. New York: CBS College Publishing.
- Eason, S. H. (1989). Why generalizability theory yields better results than classical test theory. Mid- South Educational Research Association Annual Maeeting: 8-10 November 1989- Little Rock, AR.
- Goodwin, L.D. (2001). Interrater agreement and reliability. Measurement in Psychical Educationand Exercises Science, 5 (1), 13-14. http://dx.doi.org/10.1207/S15327841MPEE0501_2.
- Kan, A. (2005). Yazılı Yoklamaların Puanlanmasında Puanlama Cetveli ve Yanıt Anahtarı Kullanımının Puanlayıcı Güvenirliğine Etkisi.Eurasian Journal of Educational Research, 5(20), 166-177.
- Kan, A. (2007). Performans değerlendirme sürecine katkıları açısından yeni programanlayışı içerisinde kullanılabilecek bir değerlendirme yaklasımı: Dereceli puanlama anahtarı puanlama yönergeleri. Kuram ve Uygulamada Eğitim Bilimleri, 7(1), 129-152.
- Kasap, Y. (2008). Dereceli puanlama anahtarı ve puanlama anahtarından elde edilen puanların karşılaştırılması. Yüksek lisans tezi, Hacettepe Üniversitesi Sosyal Bilimler Enstitüsü, Ankara.
- Kutlu, Ö., Doğan, C. D. ve Karakaya, İ. (2008). Öğrenci başarısının belirlenmesi: Performansa ve portfolyoya dayalı durum belirleme. (3. Baskı), Ankara: Pegem A Yayıncılık.
- Nalbantoğlu, F. (2009). Performans Ölçümlerinde Genellenebilirlik Kuramıyla Farklı Desenlerin Karşılaştırılması. Yüksek Lisans Tezi. Hacettepe Üniversitesi Eğitim Bilimleri Enstitüsü, Ankara.
- Önal, İ. (2005). İlköğretim Fen Bilgisi Öğretiminde Performans Dayanıklı Durum Belirleme Uygulaması Üzerine Bir Çalışma. Yüksek Lisans Tezi, Hacettepe Üniversitesi, Eğitim Bilimleri Enstitüsü: Ankara
- Moskal, B. M. (2000). Scoring rubrics: what, when and how? Practical Assessment Research and Evaluation, 7 (3), 1-5. (http://pareonline.net/getvn.asp?v=7ven=3.
- Moskal, B. M. (2003). Recommendations for Developing Classroom Performance Assessments and Scoring Rubrics. Practical Assessment, Research & Evaluation, 8(14). http://PAREonline.net/getvn.asp?v=8&n=14.
- Özel, S. ve Acar, T. (2014).Okullarda Sınıf İçi Ölçmelerde G Katsayısı. IV. Ulusal Eğitimde ve Psikolojide Ölçme ve Değerlendirme Kongresinde Sözlü Bildiri olarak sunulmuştur. Hacettepe Üniversitesi.
- Parlak, B. ve Doğan, N. (2014). Dereceli puanlama anahtarı ve puanlama anahtarından elde edilen puanların uyum düzeyleri. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 29(2), 189-197.
- Popham, W. J. (1997). What’s stil wrong- and what’s stil rightwithrubric. Educational Leadership, 55(2), 72- 75. Shavelson, R. J. & Webb, N. M. (1991). Generalizability theory: A primer. Newbury Park, CA: Sage.
| APA | ANADOL H, DOĞAN C (2018). Dereceli Puanlama Anahtarlarının Güvenirliğinin Farklı Deneyim Yıllarına Sahip Puanlayıcıların Kullanıldığı Durumlarda İncelenmesi. , 1066 - 1076. |
| Chicago | ANADOL Hatice Özlem,DOĞAN CELAL DEHA Dereceli Puanlama Anahtarlarının Güvenirliğinin Farklı Deneyim Yıllarına Sahip Puanlayıcıların Kullanıldığı Durumlarda İncelenmesi. (2018): 1066 - 1076. |
| MLA | ANADOL Hatice Özlem,DOĞAN CELAL DEHA Dereceli Puanlama Anahtarlarının Güvenirliğinin Farklı Deneyim Yıllarına Sahip Puanlayıcıların Kullanıldığı Durumlarda İncelenmesi. , 2018, ss.1066 - 1076. |
| AMA | ANADOL H,DOĞAN C Dereceli Puanlama Anahtarlarının Güvenirliğinin Farklı Deneyim Yıllarına Sahip Puanlayıcıların Kullanıldığı Durumlarda İncelenmesi. . 2018; 1066 - 1076. |
| Vancouver | ANADOL H,DOĞAN C Dereceli Puanlama Anahtarlarının Güvenirliğinin Farklı Deneyim Yıllarına Sahip Puanlayıcıların Kullanıldığı Durumlarda İncelenmesi. . 2018; 1066 - 1076. |
| IEEE | ANADOL H,DOĞAN C "Dereceli Puanlama Anahtarlarının Güvenirliğinin Farklı Deneyim Yıllarına Sahip Puanlayıcıların Kullanıldığı Durumlarda İncelenmesi." , ss.1066 - 1076, 2018. |
| ISNAD | ANADOL, Hatice Özlem - DOĞAN, CELAL DEHA. "Dereceli Puanlama Anahtarlarının Güvenirliğinin Farklı Deneyim Yıllarına Sahip Puanlayıcıların Kullanıldığı Durumlarda İncelenmesi". (2018), 1066-1076. |
| APA | ANADOL H, DOĞAN C (2018). Dereceli Puanlama Anahtarlarının Güvenirliğinin Farklı Deneyim Yıllarına Sahip Puanlayıcıların Kullanıldığı Durumlarda İncelenmesi. İlköğretim Online (elektronik), 17(2), 1066 - 1076. |
| Chicago | ANADOL Hatice Özlem,DOĞAN CELAL DEHA Dereceli Puanlama Anahtarlarının Güvenirliğinin Farklı Deneyim Yıllarına Sahip Puanlayıcıların Kullanıldığı Durumlarda İncelenmesi. İlköğretim Online (elektronik) 17, no.2 (2018): 1066 - 1076. |
| MLA | ANADOL Hatice Özlem,DOĞAN CELAL DEHA Dereceli Puanlama Anahtarlarının Güvenirliğinin Farklı Deneyim Yıllarına Sahip Puanlayıcıların Kullanıldığı Durumlarda İncelenmesi. İlköğretim Online (elektronik), vol.17, no.2, 2018, ss.1066 - 1076. |
| AMA | ANADOL H,DOĞAN C Dereceli Puanlama Anahtarlarının Güvenirliğinin Farklı Deneyim Yıllarına Sahip Puanlayıcıların Kullanıldığı Durumlarda İncelenmesi. İlköğretim Online (elektronik). 2018; 17(2): 1066 - 1076. |
| Vancouver | ANADOL H,DOĞAN C Dereceli Puanlama Anahtarlarının Güvenirliğinin Farklı Deneyim Yıllarına Sahip Puanlayıcıların Kullanıldığı Durumlarda İncelenmesi. İlköğretim Online (elektronik). 2018; 17(2): 1066 - 1076. |
| IEEE | ANADOL H,DOĞAN C "Dereceli Puanlama Anahtarlarının Güvenirliğinin Farklı Deneyim Yıllarına Sahip Puanlayıcıların Kullanıldığı Durumlarda İncelenmesi." İlköğretim Online (elektronik), 17, ss.1066 - 1076, 2018. |
| ISNAD | ANADOL, Hatice Özlem - DOĞAN, CELAL DEHA. "Dereceli Puanlama Anahtarlarının Güvenirliğinin Farklı Deneyim Yıllarına Sahip Puanlayıcıların Kullanıldığı Durumlarda İncelenmesi". İlköğretim Online (elektronik) 17/2 (2018), 1066-1076. |
