Yazılan Hikâyeyi Değerlendirmeye Yönelik Analitik Rubrik Geliştirme: Geçerlik ve Güvenirlik Çalışması
Yıl: 2018 Cilt: 14 Sayı: 2 Sayfa Aralığı: 597 - 610 Metin Dili: Türkçe DOI: 10.17860/mersinefd.424198 İndeks Tarihi: 02-03-2020
Yazılan Hikâyeyi Değerlendirmeye Yönelik Analitik Rubrik Geliştirme: Geçerlik ve Güvenirlik Çalışması
Öz: Bu çalışmanın amacı, beşinci sınıf düzeyindeki çocukların hikâye yazma becerilerinideğerlendirmeye yönelik analitik bir rubrik geliştirilmesi ve geliştirilen rubriğin geçerlik ve güvenirlikkanıtlarının sağlanmasına yönelik çalışmalar yapılmasıdır. Araştırmanın verileri, gönüllü 45 sınıföğretmeninin yaptığı değerlendirmeler sonucu elde edilmiştir. Rubriğin geliştirilmesi aşamasında yazılanhikâyeyi değerlendirmede göz önüne alınması gereken ölçütler (davranış göstergelerinin) uzman görüşlerive literatür taraması yapılarak belirlenmiş ve yazılan hikâyeyi değerlendirmeye yönelik listelenen her birölçüte yönelik üçer kategori (0-1-2) için davranış göstergeleri yazılmıştır. Geliştirilen analitik rubriğingeçerlik kanıtı olması için 9 öğretmenin her ölçüt/alt ölçüt için yaptığı değerlendirmeler arasındaki uyum,basit uyum katsayısı ile incelenmiştir. Uzman görüşleri ile son hâli verilen rubrik için yine geçerlik kanıtısağlayabilmek amacıyla Açımlayıcı Faktör Analizi yapılmıştır. Hikâye yazmaya ilişkin analitik rubriğingüvenirliği için kanıt sağlamak amacıyla ana ölçütler ve tüm ölçek için Cronbach Alfa katsayılarıhesaplanmıştır. Tüm ölçek bazında elde edilen Cronbach Alfa katsayıları .919 ile .961 arasında değiştiğidolayısıyla ölçeğin oldukça yüksek derecede iç tutarlığa sahip olduğu görülmektedir. Puanlayıcılar arasıgüvenirliğe kanıt sağlamak amacıyla ise iki sınıf öğretmeninin yaptığı puanlamalar üzerindenAğırlıklandırılmış Kappa hesaplanmıştır. Yapılan hesaplamalar sonucu elde edilen AğırlıklandırılmışKappa katsayısı 0.933’tür. Yapılan analizler ışığında geliştirilen analitik rubriğin, hikâye yazma becerisideğerlendirilirken kullanılabilecek geçerli ve güvenilir bir araç olduğu sonucuna ulaşılmıştır.
Anahtar Kelime: Konular:
Analytical Rubric Development for Story Writing: Validity and Reliability Study
Öz: The objective of this study is to develop an analytical rubric to evaluate fifth-grade children's story writing skills and to provide evidence of validity and reliability of the developed rubrics. The data of the study was obtained from the completed assessments of 45 classroom teachers who volunteered to participate in the research. The criteria to be considered in evaluating the story written during the development of the rubric (behavior indicators) were determined by expert opinion and literature review and behavior indicators were written for three categories (0-1-2) for each listed criterion for story writing. For the validated analyticalrubric to have evidence of validity, the fit between the 9 teachers' evaluations for each criterion/subcriterion was examined with a simple fit coefficient. Exploratory Factor Analysis was conducted in order to provide proof of validity for the rubric which is finalized with expert opinions. The Cronbach Alpha coefficients for the main criteria and for the whole scale were calculated to provide evidence for the reliability of the analytical rubric on story writing. The Cronbach's alpha coefficients obtained on the whole scale vary between .919 and .961, indicating that the scale has a very high internal consistency. In order to provide evidence of inter-scorer reliability, Weighted Kappa is calculated on the scales of two classroom teachers. The weighted Kappa coefficient obtained after the calculations made is 0.933. It is concluded that the analytical rubric developed in the light of the analyses made is a valid and reliable tool that can be used when evaluating story writing skills.
Anahtar Kelime: Konular:
Belge Türü: Makale Makale Türü: Araştırma Makalesi Erişim Türü: Erişime Açık
- Akaydın, Ş. ve Çeçen, M. A. (2016). Ortaokul öğrencileri için kelime bilgi düzeyi bütüncül dereceli puanlama anahtarı geliştirme çalışması. Milli Eğitim Dergisi, 210, 337-349.
- Alpar, R. (2014). Uygulamalı istatistik ve geçerlik-güvenirlik. Ankara: Detay Yayıncılık.
- Arter, J. (2002). Rubrics, scoring guides, and performance criteria. C. Boston (Yay. haz.). Understanding Scoring Rubrics a Guide for Teachers. Washington: Office of Educational Research and Improvement.
- Ateş, S., Çetinkaya, Ç. ve Yıldırım, K. (2012). How to choose a readable book. Elementary Education Online, 11(2), 319-331.
- Aydın, F. ve Karaçam, S. (2015). Gruplar için teknolojik tasarım uygulamalarını değerlendirmeye yönelik bir analitik rubrik çalışması. Mersin Üniversitesi Eğitim Fakültesi Dergisi, 11(1), 132-147.
- Birel, A. S., Albuz, A. (2014). Viyolonsel öğretiminde performansı değerlendirmeye yönelik hazırlanan dereceli puanlama anahtarının (rubrik) sınanması ve değerlendirilmesi. Atatürk Üniversitesi Sosyal Bilimler Enstitüsü Dergisi. 18(3), 281-207.
- Brookhart, S. M. (1999). The art and science of classroom assessment: The missing part of pedagogy. ASHE-ERIC Higher Education Report, 27(1). Washington, DC: The George Washington University, Graduate School of Education and Human Development.
- Cardinet, J., Johnson, S. ve Pini, G. (2010). Applying generalizability theory using EduG. New York, NY: Taylor and Francis.
- Congdon, P. ve McQueen, J. (2000). The stability of rater severity in large-scale assessment programs. Journal of Educational Measurement, 37(2), 163-178.
- Coşkun, E. ve Tiryaki, E. N. (2013). Üniversite öğrencilerinin tartışmacı metin yazma becerileri. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 28(2), 102-115.
- Çelik, T., Demirgüneş, S. ve Baştuğ, M. (2014). Metin oluşturma ve değerlendirme çalışmalarına yönelik “okur dostu” metin değerlendirme rubriği geliştirme çalışması. Uluslararası Avrasya Sosyal Bilimler Dergisi, 5(14),65-82.
- Çıralı Sarıca, H. ve Koçak Usluel, Y. (2016). Eğitsel bağlamda dijital hikâye anlatımı: bir rubrik geliştirme çalışması. Eğitim Teknolojisi: Kuram ve Uygulama, 6(2), 65-84.
- Çocuk, H. E. ve Uzun, N. B. (2018). Medya okuryazarlığı dereceli puanlama anahtarının genellenebilirlik kuramıyla güvenirliğinin incelenmesi. Kastamonu Eğitim Dergisi,. 26(4), 995-1006.
- Deliceoğlu, G. (2009). Futbol yetilerine ilişkin dereceleme ölçeğinin genellenebilirlik ve klasik test kuramına dayalı güvenirliklerinin karşılaştırılması (Yayımlanmış doktora tezi). Ankara Üniversitesi Eğitim Bilimleri Enstitüsü, Ankara.
- Dunbar, N. E., Brooks, C. F. ve Miller, T. K. (2006). Oral communication skills in higher education: Using a performance-based evaluation rubric to assess communication skills. Innovative Higher Education, 31(2), 2006, 115-128.
- Goodrich Andrade, H. (2001). The effects of ınstructional rubrics on learning to write. Current Issues in Education, 4(4), 1-21.
- Hall, E. K. ve Salmon, S. J. (2003). Chocolate chip cookies and rubrics helping students understand rubrics in inclusive settings. Teaching Exceptional Children, 35(4), 8-11.
- Huang, J. (2009). Factors affecting the assessment of ESL students' writing. International Journal of Applied Educational Studies, 5(1), 1-17.
- Lord, F. M. (1980). Applications of item response theory to practical testing problems. Hillsdale, NJ: Lawrence Erlbaum.
- Melanlıoğlu, D. (2016). Yabancı öğreniciler için dinleme becerisine yönelik üstbilişsel dereceli puanlama anahtarı. Erzincan Üniversitesi Eğitim Fakültesi Dergisi, 18(2), 1206-1229.
- Mertler, C. (2001). Designing scoring rubrics for your classroom. Practical Assessment, Research & Evaluation, 7(25). Erişim adresi: http://pareonline.net/getvn.asp?v=7&n=25 adresinden alınmıştır.
- Moskal, B. M. ve Leydens, J. A. (2000). Scoring rubric development: validity and reliability. Practical Assessment, Research & Evaluation, 7(10). Erişim adresi: http://pareonline.net/getvn.asp?v=7&n=10
- Myford, C. M. ve Wolfe, E. W. (2009). Monitoring rater performance over time: A framework for detecting differential accuracy and differential scale category use. Journal of Educational Measurement, 46(4), 371-389.
- Oaklef, M. (2009). Using rubrics to assess information literacy: An examination of methodology and ınterrater reliability. Journal of the American Society for Information Science and Technology, 60(5), 969-983.
- Ocak, G. ve Kutlu Kalender, M. D. (2017). Ortaokul 5. ve 6. sınıf fen bilimleri öğretim programının kazanım ve içerik ilişkisinin değerlendirilmesi. Bayburt Eğitim Fakültesi Dergisi, 12(23), 209-225.
- Ömür, S. ve Erkuş, A. (2013). Dereceli puanlama anahtarıyla, genel izlenimle ve ikili karşılaştırmalar yöntemiyle yapılan değerlendirmelerin karşılaştırılması. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 28(2), 308-320.
- Öztürk, E. (2007). İlköğretim beşinci sınıf öğrencilerinin yaratıcı yazma becerilerinin değerlendirilmesi (Yayımlanmamış doktora tezi). Gazi Üniversitesi Eğitim Bilimleri Enstitüsü, Ankara.
- Öztürk, D. ve Bahar, G. (2018). Viyolonsel performans değerlendirmesine yönelik dereceli puanlama anahtarının (rubrik) geliştirilmesi. Erişim adresi: http://amader.aku.edu.tr /sayi3/makaleler/devrim%20%C3%B6zt%C3%BCrk.pdf
- Parlak, B. ve Doğan, N. (2014). Dereceli puanlama anahtarı ve puanlama anahtarından elde edilen puanların uyum düzeyleri. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 29(2), 189-197.
- Popham, W. J. (1997). What’s wrong-and what’s right-with rubrics. Educational Leadership, 55(2), 72-75.
- Schaefer, E. (2008). Rater bias patterns in an EFL writing assessment. Language Testing, 25(4), 465-493.
- Tekindal, S (Ed.). (2008). Eğitimde ölçme ve değerlendirme. Ankara: Pegem Akademi.
- Tekin, H. (2009). Eğitimde ölçme ve değerlendirme. Ankara: Yargı Yayınevi.
- Viera, A. J. ve Garrett, J. M. (2005). Understanding interobserver agreement: the kappa statistic. Family Medicine, 37(5), 360-63.
- Wolf, K. ve Stevens, E. (2007). The role of rubrics in advancing and assessing student learning. The Journal of Effective Teaching, 7(1), 3-14.
- Yue, X. (2011). Detecting rater centrality effect using simulation methods and Rasch measurement analysis (Unpublished doctoral thesis). Virginia State University, Petersburg.
- Zhu, X. (2009). Assessing fit of item response models for performance assessments using bayesian analysis (Unpublished doctoral thesis). University of Pittsburgh, Pittsburgh, ABD.
| APA | AKTAŞ M, Alıcı D (2018). Yazılan Hikâyeyi Değerlendirmeye Yönelik Analitik Rubrik Geliştirme: Geçerlik ve Güvenirlik Çalışması. , 597 - 610. 10.17860/mersinefd.424198 |
| Chicago | AKTAŞ Mehtap,Alıcı Devrim Yazılan Hikâyeyi Değerlendirmeye Yönelik Analitik Rubrik Geliştirme: Geçerlik ve Güvenirlik Çalışması. (2018): 597 - 610. 10.17860/mersinefd.424198 |
| MLA | AKTAŞ Mehtap,Alıcı Devrim Yazılan Hikâyeyi Değerlendirmeye Yönelik Analitik Rubrik Geliştirme: Geçerlik ve Güvenirlik Çalışması. , 2018, ss.597 - 610. 10.17860/mersinefd.424198 |
| AMA | AKTAŞ M,Alıcı D Yazılan Hikâyeyi Değerlendirmeye Yönelik Analitik Rubrik Geliştirme: Geçerlik ve Güvenirlik Çalışması. . 2018; 597 - 610. 10.17860/mersinefd.424198 |
| Vancouver | AKTAŞ M,Alıcı D Yazılan Hikâyeyi Değerlendirmeye Yönelik Analitik Rubrik Geliştirme: Geçerlik ve Güvenirlik Çalışması. . 2018; 597 - 610. 10.17860/mersinefd.424198 |
| IEEE | AKTAŞ M,Alıcı D "Yazılan Hikâyeyi Değerlendirmeye Yönelik Analitik Rubrik Geliştirme: Geçerlik ve Güvenirlik Çalışması." , ss.597 - 610, 2018. 10.17860/mersinefd.424198 |
| ISNAD | AKTAŞ, Mehtap - Alıcı, Devrim. "Yazılan Hikâyeyi Değerlendirmeye Yönelik Analitik Rubrik Geliştirme: Geçerlik ve Güvenirlik Çalışması". (2018), 597-610. https://doi.org/10.17860/mersinefd.424198 |
| APA | AKTAŞ M, Alıcı D (2018). Yazılan Hikâyeyi Değerlendirmeye Yönelik Analitik Rubrik Geliştirme: Geçerlik ve Güvenirlik Çalışması. Mersin Üniversitesi Eğitim Fakültesi Dergisi, 14(2), 597 - 610. 10.17860/mersinefd.424198 |
| Chicago | AKTAŞ Mehtap,Alıcı Devrim Yazılan Hikâyeyi Değerlendirmeye Yönelik Analitik Rubrik Geliştirme: Geçerlik ve Güvenirlik Çalışması. Mersin Üniversitesi Eğitim Fakültesi Dergisi 14, no.2 (2018): 597 - 610. 10.17860/mersinefd.424198 |
| MLA | AKTAŞ Mehtap,Alıcı Devrim Yazılan Hikâyeyi Değerlendirmeye Yönelik Analitik Rubrik Geliştirme: Geçerlik ve Güvenirlik Çalışması. Mersin Üniversitesi Eğitim Fakültesi Dergisi, vol.14, no.2, 2018, ss.597 - 610. 10.17860/mersinefd.424198 |
| AMA | AKTAŞ M,Alıcı D Yazılan Hikâyeyi Değerlendirmeye Yönelik Analitik Rubrik Geliştirme: Geçerlik ve Güvenirlik Çalışması. Mersin Üniversitesi Eğitim Fakültesi Dergisi. 2018; 14(2): 597 - 610. 10.17860/mersinefd.424198 |
| Vancouver | AKTAŞ M,Alıcı D Yazılan Hikâyeyi Değerlendirmeye Yönelik Analitik Rubrik Geliştirme: Geçerlik ve Güvenirlik Çalışması. Mersin Üniversitesi Eğitim Fakültesi Dergisi. 2018; 14(2): 597 - 610. 10.17860/mersinefd.424198 |
| IEEE | AKTAŞ M,Alıcı D "Yazılan Hikâyeyi Değerlendirmeye Yönelik Analitik Rubrik Geliştirme: Geçerlik ve Güvenirlik Çalışması." Mersin Üniversitesi Eğitim Fakültesi Dergisi, 14, ss.597 - 610, 2018. 10.17860/mersinefd.424198 |
| ISNAD | AKTAŞ, Mehtap - Alıcı, Devrim. "Yazılan Hikâyeyi Değerlendirmeye Yönelik Analitik Rubrik Geliştirme: Geçerlik ve Güvenirlik Çalışması". Mersin Üniversitesi Eğitim Fakültesi Dergisi 14/2 (2018), 597-610. https://doi.org/10.17860/mersinefd.424198 |
