Performansa dayalı durum belirlemede güvenirliğin genellenebilirlik kuramında farklı desenlerle incelenmesi

Serap BÜYÜKKIDIK, (Gazi Üniversitesi, Gazi Eğitim Fakültesi, Eğitim Bilimleri Bölümü, Ölçme ve Değerlendirme Anabilim Dalı, Ankara, Türkiye)
Duygu ANIL (Hacettepe Üniversitesi, Eğitim Fakültesi, Eğitim Bilimleri, Ölçme ve Değerlendirme Bölümü, Ankara, Türkiye)
Eğitim ve Bilim
10 3
Yıl: 2015 Cilt: 40 Sayı: 177 Sayfa Aralığı: 285 - 296 Metin Dili: Türkçe İndeks Tarihi: 29-07-2022

Performansa dayalı durum belirlemede güvenirliğin genellenebilirlik kuramında farklı desenlerle incelenmesi

Öz:
Bu araştırmada, genellenebilirlik kuramında farklı desenler kullanılarak yapılan güvenirlik sınamasıyla, yüzey (facet) sayısı değişiminin güvenirliği nasıl etkilediği incelenmiştir. Araştırma verileri 2011- 2012 Bahar döneminde Kütahya ilinde bir ortaokulda eğitim gören 132 6-7-8. sınıf öğrencisinin rutin olmayanproblemçözümüneyöneliksergiledikleri performansların dört puanlayıcı tarafından, göreve özgü analitik vebütünselderecelipuanlamaanahtarıkullanarak puanlanmasından elde edilmiştir. Araştırmada, bireyin ölçme objesi; görev, puanlayıcı (b:birey, görev:g, p:puanlayıcı) ve dereceli puanlama anahtarı (a:anahtar) çeşidinin değişkenlik kaynağı olarak alındığı bxgxp ve bxgxpxa tümüyle çapraz desenleri kullanılmıştır. Araştırma sonucunda, genellenebilirlik kuramında kullanılan desenlerin G ve phi katsayılarını etkilediği, değişkenlik kaynağı sayısı arttıkça ölçmenin amacı bireyin toplam varyansı açıklama yüzdesinin azaldığı görülmüştür. Ayrıca dereceli puanlama anahtarı türünün de ölçümlerin güvenirliğini etkileyebileceği, analitik dereceli puanlama anahtarından elde edilen puanların göreceli olarak bütünsel dereceli puanlama anahtarından elde edilenlere oranla daha yüksek güvenirliğe sahip olduğu bulunmuştur.
Anahtar Kelime:

Konular: Eğitim, Eğitim Araştırmaları
Belge Türü: Makale Makale Türü: Araştırma Makalesi Erişim Türü: Erişime Açık
  • Al-Mahroos, F. (2009). Construct validity and generalizability of pediatrics clerkship evaluation at a problem-based medical school, Bahrain. Evaluation & the Health Professions, 32(2), 165-183.
  • American Educational Research Association, American Psychological Association ve National Council on Measurement in Education. (1999). Standards for educational and psychological testing. Washington, DC: American Educational Research Association.
  • Arce-Ferrer, A. J. ve Castillo, I. B. (2007). Investigating postgraduate college admission interviews: generalizability theory reliability and incremental predictive validity. Journal of Hispanic Higher Education, 6(2), 118-134.
  • Atılgan, H. (2004). Genellenebilirlik kuramı ve çok değişkenlik kaynaklı rasch modelinin karşılaştırılmasına ilişkin bir araştırma. Yayımlanmamış doktora tezi, Hacettepe Üniversitesi, Ankara.
  • Bauer, B. A. (1981). A study of the reliabilities and cost-efficiencies of three methods of assessment for writing ability. (ERIC Document Reproduction Service No. ED 216357).
  • Boring, R. L. (2002). Human and computerized essay assessment: a comparative analysis of holistic, analytic and latent semantic methods. Unpublished thesis, Department of Psychology, New Mexico State University, Las Cruses, New Mexico.
  • Brennan, R. L. (2001a). Generalizability theory. New York: Springer-Verlag.
  • Brennan, R. L. (2001b). An essay on the history and future of reliability from the perspective of replications. Journal of Educational Measurement, 38(4), 295-317.
  • Crocker, L. M. ve Algina, L. (1986). Introduction to classical and modern test theory. New York: Holt, Rinehart and Winston.
  • Christ, T. J., Tillman C., Chafouleas, S. M. ve Boice C. H. (2010). Direct behavior rating (DBR): generalizability and dependability across raters and observations. Educational and Psychological Measurement, 70(5), 825-843.
  • Çakıcı, D. (2011). Genellenebilirlik kuramı ve lojistik regresyona dayalı hesaplanan puanlayıcılar arası tutarlığın karşılaştırılması. Yayımlanmamış yüksek lisans tezi, Hacettepe Üniversitesi, Ankara.
  • Deliceoğlu, G. (2009). Futbol yetilerine ilişkin dereceleme ölçeğinin genellenebilirlik ve klasik test kuramına dayalı güvenirliklerinin karşılaştırılması. Yayımlanmamış doktora tezi, Ankara Üniversitesi, Ankara.
  • Follman, J. C. ve Anderson, J. A. (1967). An investigation of reliability of five procedures for grading english themes. Research in the Teaching of English, 1(2), 190-200.
  • Goodrich, H. (1997). Understanding rubrics. Educational Leadership, 54(4), 14-17.
  • Güler, N. (2008). Klasik test kuramı genellenebilirlik kuramı ve rasch modeli üzerine bir araştırma. Yayımlanmamış doktora tezi, Hacettepe Üniversitesi, Ankara.
  • Güler, N. (2009). Genellenebilirlik kuramı ve SPSS ile GENOVA programlarıyla hesaplanan G ve K çalışmalarına ilişkin sonuçların karşılaştırılması. Eğitim ve Bilim, 34(154), 93-103.
  • Güler, N. (2011). Rastgele veriler üzerinde genellenebilirlik kuramı ve klasik test kuramı’na göre güvenirliğin incelenmesi. Eğitim ve Bilim, 36(162), 225-234.
  • Hoyt, W. T. ve Melby, J. N. (1999). Dependability of measurement in counseling psychology: an introduction to generalizability theory. The Counseling Psychologist, 27(3), 325-352.
  • Jarjoura, D., Early, L. ve Androulakakis, V. (2004). A multivariate generalizability model for clinical skills assessments. Educational and Psychological Measurement, 64(1), 22-39.
  • Jonsson, A. ve Svingby, G. (2007). The use of scoring rubrics: reliability, validity and educational consequences. Educational Research Review, 2(2), 130-144.
  • Kaya, G. (2011). Genellenebilirlik kuramının doldurma kavram haritası değerlendirme çalışmasına uygulanması. Yayımlanmamış yüksek lisans tezi, Hacettepe Üniversitesi, Ankara.
  • Kozaki, Y. (2004). Using GENOVA and SPSS to set multiple standards on from japanese into english performance assessment for certification in medical translation. Language Testing, 21(1), 1-27.
  • Klein, S. P., Stecher, B. M., Shavelson, R. J., McCaffrey, D., Ormseth, T., Bell, R. M., Comfort, K. ve Othman, A. R. (1998). Analytic versus holistic scoring of science performance tasks. Applied Measurement in Education, 11(2), 121-137.
  • Lane, S. ve Stone, C. A. (2006). Performance assessment. Brennan, R.L. (Ed.) Educational Measurement (4th ed.). 387-431. Westport, CT: Praeger Puublishers.
  • Linn, R. L. ve Miller D. M. (2004). Measurement and assesment in teaching. (9th edition). Upper Saddle River: Printice-Hall Inc.
  • Martin J. Bergee. (2007). Performer, rater, occasion, and sequence as sources of variability in music performance assessment. Journal of Research in Music Education, 55(4), 344-358.
  • Mertler, C. A. (2001). Designing scoring rubrics for your classroom. Practical Assessment, Research & Evaluation, 7(25). 1 Kasım 2011 tarihinde http://PAREonline.net/getvn.asp?v=7&n=25 adresinden erişildi.
  • Moskal, B. M. (2000). Scoring rubrics: what, when and how? Practical Assessment, Research & Evaluation, 7(3). 30 Ekim 2011 tarihinde http://PAREonline.net/getvn.asp?v=7&n=3 adresinden erişildi.
  • Mushquash, C. ve O’Connor, B. P. (2006). SPSS and SAS programs for Generalizability Theory analysis. Behavior Research Methods, 38(3), 542-547.
  • Nalbantoğlu, F. (2009). Performans ölçümlerinde genellenebilirlik kuramıyla farklı desenlerin karşılaştırılması. Yayımlanmamış yüksek lisans tezi, Hacettepe Üniversitesi, Ankara.
  • Nalbantoğlu, F. (2012). Genellenebilirlik kuramında dengelenmiş ve dengelenmemiş desenlerin karşılaştırılması -ıntramuskuler enjeksiyon yapma istasyon verileri üzerine bir uygulama-. Yayımlanmamış doktora tezi, Ankara Üniversitesi, Ankara.
  • Öztürk, M. E. (2011). Voleybol becerileri gözlem formu ile elde edilen puanların genellenebilirlik ve klasik test kuramı’na göre karşılaştırılması. Yayınlanmamış yüksek lisans tezi, Hacettepe Üniversitesi, Ankara.
  • Polya, G. (1973). How to sove it? A new aspect of mathematical method. Second edition. Princeton University press. New Jersey.
  • Popham, J. W. (1997). What’s wrong and what’s right with rubric. Educational Leadership, 55(2), 72-75.
  • Priestley, M. (1982). Performance assessment in education and training: alternative techniques. First edition. Educational Technology Publications. New Jersey.
  • Shavelson, R. J. ve Webb, N. M. (1991). Generalizability theory: a primer. Sage Publications, USA.
  • Taşdelen, G., Kelecioğlu, H. ve Güler, N. (2010). Nedelsky ve angoff standart belirleme yöntemleri ile elde edilen kesme puanlarının genellenebilirlik kuramı ile karşılaştırılması. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 1(1), 22-28.
  • Tindal, G., Yovanoff, P. ve Geller, J. P. (2010). Generalizability theory applied to reading assessments for students with significant cognitive disabilities. The Journal of Special Education, 44(1), 3-17.
  • Van Hooft, E. J. A., Born, M., Taris, T. W. ve Van Der Flier, H. (2006). The cross-cultural generalizability of the theory of planned behavior: a study on job seeking in the Netherlands. Journal of Cross-Cultural Psychology, 37(2), 127-135.
  • Yelboğa, A. (2007). Klasik test kuramı ve genellenebilirlik kuramına göre güvenirliğin bir iş performansı ölçeği üzerinde incelenmesi. Yayımlanmamış doktora tezi, Ankara Üniversitesi, Ankara.
  • Yelboğa, A. (2012). Genellenebilirlik kuramına göre iş performans ölçeklerinde güvenirlik. Eğitim ve Bilim, 37(163), 157-164.
APA BÜYÜKKIDIK S, ANIL D (2015). Performansa dayalı durum belirlemede güvenirliğin genellenebilirlik kuramında farklı desenlerle incelenmesi. , 285 - 296.
Chicago BÜYÜKKIDIK SERAP,ANIL Duygu Performansa dayalı durum belirlemede güvenirliğin genellenebilirlik kuramında farklı desenlerle incelenmesi. (2015): 285 - 296.
MLA BÜYÜKKIDIK SERAP,ANIL Duygu Performansa dayalı durum belirlemede güvenirliğin genellenebilirlik kuramında farklı desenlerle incelenmesi. , 2015, ss.285 - 296.
AMA BÜYÜKKIDIK S,ANIL D Performansa dayalı durum belirlemede güvenirliğin genellenebilirlik kuramında farklı desenlerle incelenmesi. . 2015; 285 - 296.
Vancouver BÜYÜKKIDIK S,ANIL D Performansa dayalı durum belirlemede güvenirliğin genellenebilirlik kuramında farklı desenlerle incelenmesi. . 2015; 285 - 296.
IEEE BÜYÜKKIDIK S,ANIL D "Performansa dayalı durum belirlemede güvenirliğin genellenebilirlik kuramında farklı desenlerle incelenmesi." , ss.285 - 296, 2015.
ISNAD BÜYÜKKIDIK, SERAP - ANIL, Duygu. "Performansa dayalı durum belirlemede güvenirliğin genellenebilirlik kuramında farklı desenlerle incelenmesi". (2015), 285-296.
APA BÜYÜKKIDIK S, ANIL D (2015). Performansa dayalı durum belirlemede güvenirliğin genellenebilirlik kuramında farklı desenlerle incelenmesi. Eğitim ve Bilim, 40(177), 285 - 296.
Chicago BÜYÜKKIDIK SERAP,ANIL Duygu Performansa dayalı durum belirlemede güvenirliğin genellenebilirlik kuramında farklı desenlerle incelenmesi. Eğitim ve Bilim 40, no.177 (2015): 285 - 296.
MLA BÜYÜKKIDIK SERAP,ANIL Duygu Performansa dayalı durum belirlemede güvenirliğin genellenebilirlik kuramında farklı desenlerle incelenmesi. Eğitim ve Bilim, vol.40, no.177, 2015, ss.285 - 296.
AMA BÜYÜKKIDIK S,ANIL D Performansa dayalı durum belirlemede güvenirliğin genellenebilirlik kuramında farklı desenlerle incelenmesi. Eğitim ve Bilim. 2015; 40(177): 285 - 296.
Vancouver BÜYÜKKIDIK S,ANIL D Performansa dayalı durum belirlemede güvenirliğin genellenebilirlik kuramında farklı desenlerle incelenmesi. Eğitim ve Bilim. 2015; 40(177): 285 - 296.
IEEE BÜYÜKKIDIK S,ANIL D "Performansa dayalı durum belirlemede güvenirliğin genellenebilirlik kuramında farklı desenlerle incelenmesi." Eğitim ve Bilim, 40, ss.285 - 296, 2015.
ISNAD BÜYÜKKIDIK, SERAP - ANIL, Duygu. "Performansa dayalı durum belirlemede güvenirliğin genellenebilirlik kuramında farklı desenlerle incelenmesi". Eğitim ve Bilim 40/177 (2015), 285-296.
Sayfa Oluşturulma Tarihi
22-04-2024 20:46

İLETİŞİM

TÜBİTAK ULAKBİM TR Dizin

Yüzüncüyıl, İşçi Blokları Mahallesi

Muhsin Yazıcıoğlu Caddesi No:51/C

06530 Çankaya / ANKARA +90 (312) 298 92 00

trdizin@tubitak.gov.tr

TÜBİTAK ULAKBİM Ulusal Akademik Ağ ve Bilgi Merkezi Cahit Arf Bilgi Merkezi © Tüm Hakları Saklıdır. Gizlilik Politikası Kullanım Şartları