MESLEKİ KIDEMİN KESME PUANI BELİRLEMEYE ETKİSİNİN GENELLENEBİLİRLİK KURAMI İLE İNCELENMESİ

Süleyman KESER,
Nuri DOĞAN, (Hacettepe Üniversitesi, Eğitim Fakültesi, Ankara, Türkiye)
Sümeyra SOYSAL (Necmettin Erbakan Üniversitesi, Eğitim Fakültesi, Konya, Türkiye)
Trakya Eğitim Dergisi
6 1
Yıl: 2023 Cilt: 13 Sayı: 1 Sayfa Aralığı: 242 - 259 Metin Dili: Türkçe DOI: 10.24315/tred.1024397 İndeks Tarihi: 07-08-2023

MESLEKİ KIDEMİN KESME PUANI BELİRLEMEYE ETKİSİNİN GENELLENEBİLİRLİK KURAMI İLE İNCELENMESİ

Öz:
Bu araştırmanın amacı, puanlayıcıların çalışma yılı olarak ele alınan mesleki kıdem farklılıklarının, farklı standart belirleme yöntemleri ile elde edilen kesme puanlarına etkisini incelemektir. Araştırmada Millî Eğitim Bakanlığı tarafından 2014-15 ve 2015-1016 eğitim ve öğretim yıllarında sekizinci sınıf öğrencilerine ortak sınav şeklinde uygulanan Temel Eğitimden Orta Öğretime Geçiş sınavı 1. dönem matematik sorularının ayırt edicilik açısından en iyi 20 maddesinden oluşturulan çoktan seçmeli matematik başarı testi kullanılmıştır. Söz konusu test, Ankara ilindeki ortaokullardan seçkisiz örnekleme yöntemi ile belirlenen 907 sekizinci sınıf öğrencisine uygulanmıştır. Maddelerin Angoff, Nedelsky ve Ebel standart belirleme yöntemleri ile değerlendirilmesi amacıyla hazırlanan uzman değerlendirme formu ile aynı okullarda görevli ve hali hazırda sekizinci sınıflarda ders vermekte olan 40 matematik öğretmeninin değerlendirmeleri alınmıştır. Elde edilen kesme puanları Genellenebilirlik Kuramı ile analiz edilmiştir. Yapılan analizler sonucunda; Angoff, Nedelsky ve Ebel standart belirleme çalışmalarında, mesleki olarak daha kıdemli olan puanlayıcı grubunun kesme puanları belirlemede göreceli olarak daha tutarlı olduğu görülmüştür. Kıdem seviyesinin artmasının yanı sıra puanlayıcı gruplarının çalışma yılı açısından homojenleşmesinin de belirlenen standartların tutarlılığını artırabileceği görülmüştür.
Anahtar Kelime: Standart belirleme Angoff Ebel Nedelsky genellenebilirlik kuramı

ANALYSING THE IMPACT OF PROFESSIONAL SENIORITY ON DETERMINING CUTSCORE WITH GENERALIZABILITY THEORY

Öz:
The aim of this research is to analyze the effects of raters’ professional seniority differences approached as working years on cutting scores obtained with different standard setting methods. In this research, the math test which is composed of the best 20 questions, in terms of separation, prepared by Ministry of Education and applied to 8th grade students as a common exam named “TEOG (Passing on Secondary Education from Primary Education)” in 2014-15 and 2015-16 education years was used. This test was applied to 907 8th grade students which were determined by random sampling method in Ankara. An evaluation form was prepared to assess the questions with Angoff, Nedelsky and Ebel standard setting methods. With the help of this form, evaluations carried out by 40 teachers who work at the same school and attend 8th grade classes were taken. Cutting scores, acquired at the end of this evaluation, were analyzed with Generalizability Theory. At the end of these analysis; in the standard setting studies of Angoff, Nedelsky and Ebel, it was seen that the raters which was more senior as working years was more consistent in specifying cutting scores. It was seen that, apart from increase of the level of seniority, more homogeneous of raters' experience can increase the consistency of standards
Anahtar Kelime: Standard setting Angoff Ebel Nedelsky generalizability theory

Belge Türü: Makale Makale Türü: Araştırma Makalesi Erişim Türü: Erişime Açık
  • American Educational Research Association (AERA), American Psychological Association (APA), & National Council on Measurement in Education (NCME) (2014). Standards for Educational and Psychological Testing. Washington, DC: American Educational Research Association.
  • Atılgan, H. (2004). Genellenebilirlik Kuramı Ve Çok Değişkenlik Kaynaklı Rasch Modelinin Karşılaştırılmasına İlişkin Bir Araştırma. (Yayımlanmamış Doktora Tezi). Hacettepe Üniversitesi, Ankara.
  • Behuniak, P., Archambault, X. F., & Gable, R. K. (1982). Angoff and Nedelsky Standard Setting Procedures: Implications for the Validity of Proficiency Test Score Interpretation. Educational and Psychological Measurement, 42, 247-255.
  • Bejar, I. I. (1983). Subject Matter Expert’s Assesment of Item Statistics. Applied Psychological Measurement, 7(3), 303-310.
  • Brennan, R. L. (2001). Generalizability Theory - Statistics for Social Sciences and Public Policy. New York: Springer.
  • Brennan, R. L., & Lockwood, R. E. (1980). A Comparison of the Nedelsky and Angoff Cutting Score Procedures Using Generalizability Theory. Applied Psychological Measurement, 4(2), 219-240.
  • Büyüköztürk, Ş., Kılıç Çakmak, E., Akgün, Ö. E., Karadeniz, Ş. ve Demirel, F. (2016). Bilimsel Araştırma Yöntemleri. Ankara: Pegem Akademi.
  • Cardinet, J., Johnson, S., & Pini, G. (2009). Applying Generalizability Theory using EduG (Quantitative Methodology Series). New York, NY: Routledge.
  • Chang, L. (1999). Judgmental Item Analysis of the Nedelsky and Angoff Standard-Setting Methods. Applied Measurement in Education, 12(2), 151-165.
  • Chang, L., Dziuban, C. D., Hynes, M. C., & Olson, A. H. (1996). Does a Standard Reflect Minimal Competency of Examinees or Judge Competency? Applied Measurement in Education, 9(2), 161-173.
  • Cizek, G. J. (1996). An NCME instructional module on: Setting passing scores. Educational Measurement: Issues and Practice, 15(2), 20-31.
  • Cizek, G. J., & Bunch, M. B. (2007). Standard Setting A Guide to Establishing and Evaluating Performance Standards on Tests. Thousand Oaks, California: Sage Publications.
  • Crocker, L., & Algina, J. (2008). Introduction to Classical and Modern Test Theory. Mason, Ohio: Cengage Learning.
  • Çetin, S. (2011). İşaretleme ve Angoff Standart Belirleme Yöntemlerinin Karşılaştırılması. (Yayımlanmamış Doktora Tezi). Hacettepe Üniversitesi, Ankara.
  • Demir, O. (2014). Angoff, Nedelsky ve Ebel standart belirleme yöntemleri ile belirlenen kesme puanlarının karşılaştırılması. (Yayımlanmamış Yüksek Lisans Tezi). Abant İzzet Baysal Üniversitesi, Bolu.
  • Dewey, J. (1997). Experience and Education. New York, NY: Touchstone.
  • Glass, G. V. (1978). Standards and Criteria. Journal of Educational Measurement, 15(4), 237-261.
  • Gündeğer, C. ve Doğan, N. (2014). Angoff, Yes/No ve Ebel Standart Belirleme Yöntemlerinin Karşılaştırılması. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 5(1), 53-60.
  • Hambleton, R. K. (2001). Setting performance standards on educational assessments and criteria for evaluating the process. In G. J. Cizek (Ed.), Setting performance standards: Concepts, methods, and perspectives. Mahwah, NJ, Lawrence Erlbaum Associates: 89-116.
  • Hambleton, R. K., & Pitoniak, M. J. (2006). Setting performance standards. In R. L. Brennan (Ed.), Educational Measurement (4 ed.). Westport, CT: American Council on Education & Praeger.
  • Hsieh, M. (2013). An application of Multifaceted Rasch measurement in the Yes/No Angoff standard setting procedure. Language Testing, 30(04), 491-512.
  • Institut de Recherche et de Documantation Pedagogique [IRDP]. (2010). EDUG User Guide. Neuchatel, Switzerland: Swiss Society for Research in Education Working Group.
  • Kane, M. (1994). Validating the Performance Standards Associated With Passing Scores. Review of Educational Research, 64(3), 425-461.
  • Kane, M. T. (2001). So much remains the same: Conception and status of validation in setting standards. In G. J. Cizek (Ed.), Setting performance standards: concepts, methods, and perspectives (pp. 53-88). Mahwah, NJ: Lawrence Erlbaum.
  • Kara, Y. ve Kelecioğlu, H. (2015). Puanlayıcı Niteliklerinin Kesme Puanlarının Belirlenmesine Etkisinin Genellenebilirlik Kuramı’yla İncelenmesi. Eğitimde ve Psikolojide Ölçme ve Değerlendirme, 6(1), 58-71.
  • Kozaki, Y. (2004). Using GENOVA and FACETS to set multiple standards on performance assessment for certification in medical translation from Japanese into English. Language Testing, 21(1), 1- 27.
  • Lim, G. S., Geranpayeh, A., Khalifa, H., & Buckendahl, C. W. (2013). Standard Setting to an International Reference Framework: Implications for Theory and Practice. International Journal of Testing, 13(1), 32-49.
  • Lumley, T., & McNamara, T. F. (1995). Rater characteristics and rater bias: implications for training. Language Testing, 12, 54-71.
  • McCann, R. G., & Stanley, G. (2006). The Use of Rasch Modeling to Improve Standard Setting. Practical Assesment, Research & Evaluation, 11(2).
  • MEB. (2015b). 2014-2015 Eğitim Öğretim Yılı I. Dönem Ortak Sınavı Test ve Madde İstatistikleri. Ankara. (http://odsgm.meb.gov.tr/test/analizler/docs/2014-2015-1-Donem-Ortak-Sinavlar- Genel-Bilgiler.pdf, Erişim tarihi: 17/10/2016)
  • MEB. (2016). 2015-2016 Eğitim Öğretim Yılı I. Dönem Ortak Sınavı Test ve Madde İstatistikleri. Ankara. (http://odsgm.meb.gov.tr/test/analizler/docs/2015-2016-ortak-sinav-1-donem-madde- istatistikleri.pdf, Erişim tarihi: 17/10/2016)
  • Shavelson, R. J., & Webb, N. M. (1991). Generalizability theory: A primer (Vol. 1). Newbury Park, CA: Sage Publications.
  • Shulruf, B., Wilkinson, T., Weller, J., Jones, P., & Poole, P. (2016). Insights into the Angoff method: results from a simulation study. BMC Med Educ, 16, 134.
  • Taşdelen, G., Kelecioğlu, H. & Güler, N. (2010). Nedelsky ve Angoff Standart Belirleme Yöntemleri ile Elde Edilen Kesme Puanlarının Genellenebilirlik Kuramı ile Karşılaştırılması. Mersin Üniversitesi Eğitimde Ölçme ve Psikolojide Ölçme ve Değerlendirme II. Ulusal Kongresi, Mersin.
  • Tseng, F.-L., Chiou, J.-M., & Sung, Y.-T. (2015). A Validity Study For Yes/No Angoff Standard Setting Method Using Cluster Analysis. Paper presented at the 12th International Conference on Fuzzy Systems and Knowledge Discovery (FSKD), Taipei, Chinese.
  • Violato, C., Marini, A., & Lee, C. (2003). A validity study of expert judgment procedures for setting cutoff scores on high-stakes credentialing examinations using cluster analysis. Eval Health Prof, 26(1), 59-72.
  • Wu, S. M., & Tan, S. (2015). Managing rater effects through the use of FACETS analysis: the case of a university placement test. Higher Education Research & Development, 35(2), 380-394.
  • Yousuf, N., Violato, C., & Zuberi, R. W. (2015). Standard Setting Methods for Pass/Fail Decisions on High-Stakes Objective Structured Clinical Examinations: A Validity Study. Teach Learn Med, 27(3), 280-291.
APA keser s, DOĞAN N, soysal s (2023). MESLEKİ KIDEMİN KESME PUANI BELİRLEMEYE ETKİSİNİN GENELLENEBİLİRLİK KURAMI İLE İNCELENMESİ. , 242 - 259. 10.24315/tred.1024397
Chicago keser süleyman,DOĞAN NURİ,soysal sümeyra MESLEKİ KIDEMİN KESME PUANI BELİRLEMEYE ETKİSİNİN GENELLENEBİLİRLİK KURAMI İLE İNCELENMESİ. (2023): 242 - 259. 10.24315/tred.1024397
MLA keser süleyman,DOĞAN NURİ,soysal sümeyra MESLEKİ KIDEMİN KESME PUANI BELİRLEMEYE ETKİSİNİN GENELLENEBİLİRLİK KURAMI İLE İNCELENMESİ. , 2023, ss.242 - 259. 10.24315/tred.1024397
AMA keser s,DOĞAN N,soysal s MESLEKİ KIDEMİN KESME PUANI BELİRLEMEYE ETKİSİNİN GENELLENEBİLİRLİK KURAMI İLE İNCELENMESİ. . 2023; 242 - 259. 10.24315/tred.1024397
Vancouver keser s,DOĞAN N,soysal s MESLEKİ KIDEMİN KESME PUANI BELİRLEMEYE ETKİSİNİN GENELLENEBİLİRLİK KURAMI İLE İNCELENMESİ. . 2023; 242 - 259. 10.24315/tred.1024397
IEEE keser s,DOĞAN N,soysal s "MESLEKİ KIDEMİN KESME PUANI BELİRLEMEYE ETKİSİNİN GENELLENEBİLİRLİK KURAMI İLE İNCELENMESİ." , ss.242 - 259, 2023. 10.24315/tred.1024397
ISNAD keser, süleyman vd. "MESLEKİ KIDEMİN KESME PUANI BELİRLEMEYE ETKİSİNİN GENELLENEBİLİRLİK KURAMI İLE İNCELENMESİ". (2023), 242-259. https://doi.org/10.24315/tred.1024397
APA keser s, DOĞAN N, soysal s (2023). MESLEKİ KIDEMİN KESME PUANI BELİRLEMEYE ETKİSİNİN GENELLENEBİLİRLİK KURAMI İLE İNCELENMESİ. Trakya Eğitim Dergisi, 13(1), 242 - 259. 10.24315/tred.1024397
Chicago keser süleyman,DOĞAN NURİ,soysal sümeyra MESLEKİ KIDEMİN KESME PUANI BELİRLEMEYE ETKİSİNİN GENELLENEBİLİRLİK KURAMI İLE İNCELENMESİ. Trakya Eğitim Dergisi 13, no.1 (2023): 242 - 259. 10.24315/tred.1024397
MLA keser süleyman,DOĞAN NURİ,soysal sümeyra MESLEKİ KIDEMİN KESME PUANI BELİRLEMEYE ETKİSİNİN GENELLENEBİLİRLİK KURAMI İLE İNCELENMESİ. Trakya Eğitim Dergisi, vol.13, no.1, 2023, ss.242 - 259. 10.24315/tred.1024397
AMA keser s,DOĞAN N,soysal s MESLEKİ KIDEMİN KESME PUANI BELİRLEMEYE ETKİSİNİN GENELLENEBİLİRLİK KURAMI İLE İNCELENMESİ. Trakya Eğitim Dergisi. 2023; 13(1): 242 - 259. 10.24315/tred.1024397
Vancouver keser s,DOĞAN N,soysal s MESLEKİ KIDEMİN KESME PUANI BELİRLEMEYE ETKİSİNİN GENELLENEBİLİRLİK KURAMI İLE İNCELENMESİ. Trakya Eğitim Dergisi. 2023; 13(1): 242 - 259. 10.24315/tred.1024397
IEEE keser s,DOĞAN N,soysal s "MESLEKİ KIDEMİN KESME PUANI BELİRLEMEYE ETKİSİNİN GENELLENEBİLİRLİK KURAMI İLE İNCELENMESİ." Trakya Eğitim Dergisi, 13, ss.242 - 259, 2023. 10.24315/tred.1024397
ISNAD keser, süleyman vd. "MESLEKİ KIDEMİN KESME PUANI BELİRLEMEYE ETKİSİNİN GENELLENEBİLİRLİK KURAMI İLE İNCELENMESİ". Trakya Eğitim Dergisi 13/1 (2023), 242-259. https://doi.org/10.24315/tred.1024397
Sayfa Oluşturulma Tarihi
25-04-2024 21:31

İLETİŞİM

TÜBİTAK ULAKBİM TR Dizin

Yüzüncüyıl, İşçi Blokları Mahallesi

Muhsin Yazıcıoğlu Caddesi No:51/C

06530 Çankaya / ANKARA +90 (312) 298 92 00

trdizin@tubitak.gov.tr

TÜBİTAK ULAKBİM Ulusal Akademik Ağ ve Bilgi Merkezi Cahit Arf Bilgi Merkezi © Tüm Hakları Saklıdır. Gizlilik Politikası Kullanım Şartları