Angoff, yes/no ve ebel standart belirleme yöntemlerinin karşılaştırılması

DOĞAN, Nuri; GÜNDEĞER, Ceylan

Angoff, yes/no ve ebel standart belirleme yöntemlerinin karşılaştırılması

Ceylan GÜNDEĞER, (Hacettepe Üniversitesi, Eğitim Fakültesi, Ankara, Türkiye)

Nuri DOĞAN (Hacettepe Üniversitesi, Eğitim Fakültesi, Ankara, Türkiye)

Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi

4 1

Yıl: 2014 Cilt: 5 Sayı: 1 Sayfa Aralığı: 53 - 60 Metin Dili: Türkçe İndeks Tarihi: 29-07-2022

Angoff, yes/no ve ebel standart belirleme yöntemlerinin karşılaştırılması

Öz:

Öz Bu araştırmada Angoff, Yes/No ve Ebel standart belirleme yöntemleri ile elde edilen uzman kararları ve kesme puanları karşılaştırılmıştır. Araştırmanın verilerini, 20 maddelik bir başarı testinden alınan 489 öğrenci puanı ve 17 uzmanın bu başarı testindeki maddeler için üç farklı standart belirleme yöntemine göre vermiş oldukları kararlar oluşturmaktadır. Verilerin analizi uzmanlar arası uyum Angoff ve Ebel yöntemleri için Kendall’ın uyuşum katsayısı (W) ve Yes/No yöntemi için Cohen’in Kappa istatistiği ile; üç farklı standart belirleme yöntemine göre başarılı sayılan öğrenci yüzdeleri arasındaki farklılıklar bağımlı iki oran arasındaki farkın testi ile; üç yöntemden elde edilen kesme puanlarına göre öğrenci puanları başarılı-başarısız olmak üzere yapay ikili hâle getirilip aralarındaki uyuma Cohen’in Kappa istatistiği ile; üç yönteme ait kesme puanları arasındaki uyum ise Pearson Momentler Çarpımı Korelasyon Katsayısı ve bağımlı gruplar t testi ile test edilmiştir. Bu araştırma sonunda yöntemlerde uzmanlar arasında makul bir uyumun yakalanabildiği; üç farklı standart belirleme yöntemine göre başarılı sayılan öğrenci yüzdeleri arasında 0,01 hata düzeyinde manidar farklılık olduğu ve öğrencilerin başarılı-başarısız sayılma durumları bakımından uyum olduğu görülmüştür. Kesme puanları arasında Angoff-Yes/No yöntemleri arasında yüksek düzeyde, Angoff-Ebel yöntemleri arasında orta düzeyde bir ilişki olduğu ve Yes/No-Ebel yöntemleri arasında anlamlı bir ilişki olmadığı görülmüştür.

Anahtar Kelime:

Konular: Biyoloji Eğitim, Eğitim Araştırmaları

A comparison of angoff,yes/no and ebel standard setting methods

Öz:

In this study, experts’ decisions and cut-off scores obtained from Angoff, Yes/No and Ebel standard setting methods have been compared. The research data consist of 489 student scores obtained from a achievement test of 20 items and 17 experts’ decisions, made according to three different standard setting methods for this achievement test. In the analysis of data, in order to set the compliance between experts, Kendall’s coefficient of concordance (W) for Angoff and Ebel methods, and Cohen’s Kappa statistics for Yes/No method have been calculated. Differences between the percentages of students, considered as successful according to three different standard setting methods, have been tested with the test of the difference between two correlated proportions. The students’ scores have been tailored to binary as successful-unsuccessful according to three methods; and the compliance between them has been examined with Cohen’s Kappa statistics. The compliance between the cut- off scores of three methods has been evaluated with Pearson Product-Moment Correlation Coefficient and the paired samples t test. At the end of this research, it is seen that the compliance of experts in the methods is at a reasonable level; there is significant difference on 0,01 error level among percentages of students considered as successful according to these three different standard setting methods and there is a compliance between students’ scores that have been tailored to binary as successful-unsuccessful according to three methods. It is concluded that there is a high relationship between Angoff and Yes/No methods; there is moderate relationship between Angoff and Ebel methods; there is no significant relationship between Yes/No and Ebel methods.

Anahtar Kelime:

Konular: Biyoloji Eğitim, Eğitim Araştırmaları

Belge Türü: Makale Makale Türü: Araştırma Makalesi Erişim Türü: Erişime Açık

Crocker, L. ve Algina, J. (1986). Introduction to classical and modern test theory. Florida: Holt, Rinehart and Winston, Inc.
Downing, S. M., Tekian, A. & Yudkowsky, R. (2006). Research methodology: Procedures for establishing defensible absolute passing scores on performance examinations in health professions education.Teaching and Learning in Medicine, 18(1),50–57 Retrieved from http://www.tandfonline.com/doi/abs/10.1207/s15328015tlm1801_11#.U496d_mPnns
Ebel, R. L. (1972). Essentials of educational measurement. New Jersey: Prentice Hall.
Hambleton, R. K. (2001). Setting performance standards on educational assessments and criteria for evaluating the process, In G. J. Cizek (Ed.), Setting performance standards: Concepts, methods and perspectives (ss. 89 – 116). New Jersey: Lawrence Erlbaum Associates.
Impara, J. C. ve Plake, B. S. (1997). Standard setting: An alternative approach. Journal of Educational Measurement,34(4), 353-366 Retrieved from http://www.jstor.org/discover/10.2307/1435114?uid=2&uid=4&sid=21104259914143
Livingston, S. A. & Zieky, M. J. (1982). Passing scores: A manual for setting standards of performance on educational and occupational tests. New Jersey: Educational Testing Service.
Murphy, K. R. & Davidshofer, C. O. (1991). Psychological testing: Principles and applications. New Jersey: Prantice Hall.
Zieky, M. J. (2001). So much has changed: How the setting of cutscores has evolved since the 1980s, In G. J. Cizek (Ed.), Setting performance standards: Concepts, methods and perspectives (ss. 19-51). New Jersey: Lawrence Erlbaum Associates.

APA	GÜNDEĞER C, DOĞAN N (2014). Angoff, yes/no ve ebel standart belirleme yöntemlerinin karşılaştırılması. , 53 - 60.
Chicago	GÜNDEĞER Ceylan,DOĞAN Nuri Angoff, yes/no ve ebel standart belirleme yöntemlerinin karşılaştırılması. (2014): 53 - 60.
MLA	GÜNDEĞER Ceylan,DOĞAN Nuri Angoff, yes/no ve ebel standart belirleme yöntemlerinin karşılaştırılması. , 2014, ss.53 - 60.
AMA	GÜNDEĞER C,DOĞAN N Angoff, yes/no ve ebel standart belirleme yöntemlerinin karşılaştırılması. . 2014; 53 - 60.
Vancouver	GÜNDEĞER C,DOĞAN N Angoff, yes/no ve ebel standart belirleme yöntemlerinin karşılaştırılması. . 2014; 53 - 60.
IEEE	GÜNDEĞER C,DOĞAN N "Angoff, yes/no ve ebel standart belirleme yöntemlerinin karşılaştırılması." , ss.53 - 60, 2014.
ISNAD	GÜNDEĞER, Ceylan - DOĞAN, Nuri. "Angoff, yes/no ve ebel standart belirleme yöntemlerinin karşılaştırılması". (2014), 53-60.

APA	GÜNDEĞER C, DOĞAN N (2014). Angoff, yes/no ve ebel standart belirleme yöntemlerinin karşılaştırılması. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 5(1), 53 - 60.
Chicago	GÜNDEĞER Ceylan,DOĞAN Nuri Angoff, yes/no ve ebel standart belirleme yöntemlerinin karşılaştırılması. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi 5, no.1 (2014): 53 - 60.
MLA	GÜNDEĞER Ceylan,DOĞAN Nuri Angoff, yes/no ve ebel standart belirleme yöntemlerinin karşılaştırılması. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, vol.5, no.1, 2014, ss.53 - 60.
AMA	GÜNDEĞER C,DOĞAN N Angoff, yes/no ve ebel standart belirleme yöntemlerinin karşılaştırılması. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi. 2014; 5(1): 53 - 60.
Vancouver	GÜNDEĞER C,DOĞAN N Angoff, yes/no ve ebel standart belirleme yöntemlerinin karşılaştırılması. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi. 2014; 5(1): 53 - 60.
IEEE	GÜNDEĞER C,DOĞAN N "Angoff, yes/no ve ebel standart belirleme yöntemlerinin karşılaştırılması." Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 5, ss.53 - 60, 2014.
ISNAD	GÜNDEĞER, Ceylan - DOĞAN, Nuri. "Angoff, yes/no ve ebel standart belirleme yöntemlerinin karşılaştırılması". Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi 5/1 (2014), 53-60.