Değişen Madde Fonksiyonunun Belirlenmesinde MTK Olabilirlik Oranı SIBTEST ve Mantel-Haenszel Yöntemlerinin Performanslarının (I. Tip Hata ve Güç) Karşılaştırılması

ARSAN, Nihan; gök, bilge; KELECİOĞLU, Hülya; ATALAY KABASAKAL, Kübra

Değişen Madde Fonksiyonunun Belirlenmesinde MTK Olabilirlik Oranı SIBTEST ve Mantel-Haenszel Yöntemlerinin Performanslarının (I. Tip Hata ve Güç) Karşılaştırılması

Kübra ATALAY KABASAKAL, (Hacettepe Üniversitesi)

Nihan ARSAN, (Eğitimde Ölçme ve Değerlendirme alanında doktordur.)

Bilge GÖK, (Hacettepe Üniversitesi)

Hülya KELECİOĞLU (Hacettepe Üniversitesi)

Kuram ve Uygulamada Eğitim Bilimleri

23 0

Yıl: 2014 Cilt: 14 Sayı: 6 Sayfa Aralığı: 2175 - 2194 Metin Dili: Türkçe İndeks Tarihi: 29-07-2022

Değişen Madde Fonksiyonunun Belirlenmesinde MTK Olabilirlik Oranı SIBTEST ve Mantel-Haenszel Yöntemlerinin Performanslarının (I. Tip Hata ve Güç) Karşılaştırılması

Öz:

Bu araştırmanın amacı, belirli koşullar altında simülasyon çalışmasıyla Mantel-Haenszel (MH), SIBTEST ve Madde Tepki Kuramı-Olabilirlik Oranı (MTK-OO) yöntemlerinin performanslarını (I. Tip hata ve güç) karşılaştırmaktır. DMF üzerinde etkisi incelenen değişkenler; örneklem büyüklüğü oranı, yetenek dağılımı farklılıkları, test uzunluğu, DMF içeren madde oranı ve model türüdür. Araştırmadan elde edilen sonuçlar, tek biçimli DMF'nin belirlenmesinde SIBTEST yönteminin en yüksek hataya, MH yönteminin ise ele alınan koşulların tümünde en yüksek güce sahip olduğunu göstermektedir. Bununla birlikte araştırmada DMF'li madde oranı ve model türü değişkenlerinin MTK-OO; yetenek dağılımı, test uzunluğu, DMF'li madde oranı, model türü değişkenlerinin ve yetenek dağılımı*DMF'li madde oranı, yetenek dağılımı*test uzunluğu, test uzunluğu*DMF'li madde oranı, test uzunluğu*model türü etkileşimlerinin SIBTEST; örneklem büyüklüğü oranı, test uzunluğu, DMF'li madde oranı değişkenlerinin ve yetenek dağılımı*DMF'li madde oranı, yetenek dağılımı*model türü, yetenek dağılımı*DMF'li madde oranı*model türü etkileşimlerinin ise MH yönteminin I. Tip hata performansı üzerinde anlamlı etkisi olduğu sonucuna varılmıştır. SIBTEST ve MH yöntemlerinin gücü üzerinde hiçbir koşulun etkisi anlamlı bulunmazken model türü değişkeninin MTK-OO yönteminin gücü üzerine anlamlı etkisi vardır

Anahtar Kelime:

Konular: Eğitim, Eğitim Araştırmaları

Belge Türü: Makale Makale Türü: Araştırma Makalesi Erişim Türü: Bibliyografik

TRDizin Dışındaki Atıf Sayıları

OpenCitations: 0

OpenAlex: 0

Crossref: 0

Ackerman, T. A., Evans, ]. A. (1992, April). An investigation of the relationship between reliability, power, and the Type error rate of the Mantel-Haenszel and simultaneous item bias detection procedures. Paper presented at the annual meeting of the National Council on Measurement in Education, San Francisco.
Agresti, A. (1984). Analysis ofordinal categorical data. New York: ]ohn Wiley Sons.
Ankenmann, R. D., Witt, E. A., Dunbar, S. B. (1996, April). An investigation of the power of the likelihood ratio goodness-offit statistic in detecting difl’erential item functioning. Paper presented at the annual meeting of the American Educational Research Association, New York. Atalay, K., Gök, B., Kelecioğlu, H. ve Arsan, N. (2012).
Değişen madde fonksiyonunun belirlenmesinde farklı yöntemlerin kullanılması: Bir simülasyon çalışması. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 43, 270—281.
Bakan Kalaycıoğlu, D. ve Kelecioğlu, H. (2011). Öğrenci Seçme Sınavı’nın madde yanlılığı açısından incelenmesi. Eğitim ve Bilim, 36(161), 3—12.
Bekçi, B. (2007). Ortaöğretim kurumları öğrenci seçme sınavının değişen madde fonksiyonlarının cinsiyete ve okul türüne göre incelenmesi (Yüksek lisans tezi, Hacettepe Üniversitesi, Sosyal Bilimler Enstitüsü, Ankara). http:// tez2.yok.gov.tr/ adresinden edinilmiştir.
Camilli, G. (2006). Test fairness. In R. L. Brennan (Ed.), Educational measurement (4th ed., Vol. 4, pp. 221—256). Westport: American Council on Education Praeger Publishers.
Camili, G., Shepard, L. A. (1994). Methodsfor identifying biased test items. London: Sage.
Cheng, C. M. (2005). study on difierential itemfunctioning of the basic mathematical competence test for junior high schools in Taiwian (Doctoral Dissertation). Available from ProOuest Dissertations and Theses database. (UMI No. 3189625)
Clauser, E. B., Mazor, K., Hambleton, K. R. (1993). The effects of purification of the matching criterion on the identification of DIF using theMantel-Haenszel procedure. Applied Measurement in Education, 6(4), 269—279. d0i:lO.1207/5153248l8ameO604_2
Cohen,A. S., Kim,S., &Wollack, I. A. 1996).Aninvestigation of likelihood ratio test for detection of differential item functioning. Applied Psychological Measurement, 20(1), 15- 26. doi: 10.1177/014662169602000102
Çepni, Z. (2011). Değişen madde fonksiyonlarının sıbtest, Mantel Haenszel, lojistik regresyon ve madde tepki kuramı yöntemleriyle incelenmesi (Doktora tezi, Hacettepe Üniversitesi, Sosyal Bilimler Enstitüsü, Ankara). http:// tez2.yok.gov.tr/ adresinden edinilmiştir.
Dainis, A. M. (2008). Methodsfor identifying difierential item and testfunctioning. an investigation of type error rates and power (Doctoral Dissertation). Available from ProOuest Dissertations and Theses database. (UMI No. 3323367)
DeMars, C. E. (2009). Modification of the MantelHaenszel and logistic regression DIF procedures to incorporate the SIBTEST regression correction. journal of Educational and Behavioral Statistics, 34, 149—170. doi:10.3102/1076998607313923
Diaz—Emparanza, I. (1996). Selecting the Number of Replications in Simulation Study Economics Working Paper Archieve University of Washington, Ref: ewpem/9612006, EconWPA. Retrived from: http://papers.ssrn. com/sol3/papers.cfm?abstract_id=1582 JP 2192
Doğan, N. ve Öğretmen, T. (2008). Değişen madde fonksiyonunu belirlemede Mantel— Haenszel, Ki-kare ve lojistik regresyon tekniklerinin karşılaştırılması. Eğitim ve Bilim, 33, 100-112.
Dorans, N. I., Holland, P. W. (1993). DIF detection and description: Mantel-Haenszel and standardization. In P. Holland H. Wainer (Eds.), Differential item functioning (pp. 35-66). Hillsdale, N]: Erlbaum.
Erdem Keklik, D. (2012). İki kategorili maddelerde tek biçimli değişen madde fonksiyonu belirleme tekniklerinin karşilaştirilması: bir simulasyon çalışması (Doktora Tezi, Ankara Üniversitesi, Eğitim Bilimleri Enstitüsü). http:/l te22.yok.gov.tr/ adresinden edinilmiştir.
Finch, H. (2005). The MIMIC model as method for detecting DIF: Comparison with Mantel Haenszel, SIBTEST, and the IRT likelihood ratio. Applied Psychological Measurement, 29, 278-295. doi: 10.1177/0146621605275728
Finch, H. W, French, F. B. (2007). Detection of crossing dilferential item functioning: comparison of four methods. Educational and Psychological Measurement, 67(4), 565—582. doi: 10.1177/0013164406296975
Fukuhara, H. (2009). differential itemfunctioningmodelfor testlet-based items using bi—factor multidimensional item response theory model: Bayesian approach (Doctoral Dissertation). Retrieved from: http://diginole.lib.fsu.edu/ cgi/viewcontent.cgi?article=1573&context=etd
Gök, B., Kelecioğlu, H. ve Doğan, N. (2010). Değişen madde fonksiyonunu belirlemede Mantel—Haenszel ve lojistik regresyon tekniklerinin karşılaştırılması. Eğitim ve Bilim, 35, 156, 3-16.
Güler, N., Penfield, R. D. (2009). comparison of the logistic regression and contingency table methods for the simultaneous detection of uniform and nonuniform DIF. Journal of Educational Measurement, 46, 314-329. doi: lO.llll/j.l745-3984.2009.00083.X
Hidalgo, M. D., Lopez—Pina, I. A. (2004). Dilferential item functioning detection an effect size: comparison between logistic regression and Mantel-Haenszel procedures. Educational and Psychological Measurement, 64(6), 903—915.d0i: 10.1177/0013164403261769
Holland, P. W, Thayer, D. T. (1988). Differential item performance and the Mantel—Haenszel procedure. In H. Wainer H. I. Braun (Eds.), Test validity (pp. 129—145). Hillsdale, N]: Erlbaum.
Holland, P. W, Wainer, H. (1993). Difl’erential item functioning Hillsdale, N]: Lawrence Erlbaum.
Iodoin, G. M., Gierl, M. I. (2001). Evaluating type error and power rates using an efiect size measure with the logistic regression procedure for DIF detection. Applied Measurement in Education, 14(4), 329—349. doi:10.1207/ 515324818AME1404_2
Karakaya, I. (2012). Seviye Belirleme Sınavındaki Fen ve Teknoloji ile Matematik alt testlerinin madde yanlılığı açısından incelenmesi. Kuram ve Uygulamada Eğitim Bilimleri, 12, 215-229.
Karakaya, l. ve Kutlu Ö. (2012). Seviye Belirleme Sınavındaki Türkçe alt testlerinin madde yanlılığı açısından incelenmesi. Eğitim ve Bilim, 37, 165, 348-362. Kim, ]. (2010). Controlling type error rate in evaluating difi’erential item functioning for four DIF methods: Use of three procedures for adjustment of multiple item testing (Doctoral Dissertation). Retrieved from http:// scholarworks.gsu.edu/eps_diss/67/
Kristjansson, E., Aylesworth, R., McDowell, I., Zumbo, B. D. (2005). comparison of four methods for detecting DIF in ordered response items. Educational and Psychological Measurement, 65, 935—953. doi: 10.1177/0013164405275668
Li, H. H., Stout, W. (1996). new procedure for detection of crossing DIF. Psychometrika, 61, 647-677.
Li, Y. (2012). Item discrimination and type error rates in DIF detection using the Mantel—Haenszel and logistic regression procedure (Doctoral Dissertation). Available from ProOuest Dissertations and Theses database. (UMI No. 3540134)
Li, Y., Brooks, G. P., ]ohanson, G. A. (2012). Item discrimination and type error in the detection of differential item functioning. Educational and Psychological Measurement, 72(5), 847-861.
Linn, R. L. (1993). The use of differential item functioning statistics: discussion of current practice and future implications. In P. W. Holland, H. Wainer (Eds.), Differential item functioning (pp. 349-364). Hillsdale, NJ: Lawrence Erlbaum Associates Publishers.
Lopez, G. E. (2012). Detection and classification of DIF types using parametric and nonparametric methods: comparison of the IRT-Likelihood Ratio Test, CrossingSIBTEST, and logistic regression procedures (Doctoral Dissertation). Retrieved from http://scholarcommons.usf. edu/etd/4131/
Narayanan, P., Swaminathan, H. (1994). Performance of the Mantel-Haenszel and simultaneous item bias procedures for detecting differential. Applied Psychological Measurement, 18(4), 315—328. doi: 10.1177/014662169401800403
Narayanan, P., Swaminathan, H. (1996). Identification of items that show non-uniform DIF. Applied Psychological Measurement, 20(3), 257—274. doi: 10.1177/014662169602000306
Pei, L. K., Li, I. (2010). Effects of unequal ability variances on the performance of logistic regression, Mantel—Haenszel, SIBTEST IRT, and IRT Likelihood ratio for DIF detection. Applied Psychological Measurement, 36(4), 453—456. doi:10.1177/0146621610367789
Penfield, R. D. (2003). Application of the BreslowDay test of trend in odds ratio heterogeneity to the detection of nonuniform DIF. Alberta Journal of Educational Research, 49, 231-243.
Potenza, T. M., Dorans, ]. N. (1995). DIF assessment for polytomously scored items: framework for classification and evaluation. Applied Psychological Measurement, 19(1), 23—37. doi: 10.1177/014662169501900104
Prieto, P., Barbero, M. I., San Luis, C. (1997). Identification of nonuniform DIF: comparison of Mantel-Haenszel and IRT analysis procedure. Educational and Psychological Measurement, 57(4), 559-568.
Rogers, H. ]., Swaminathan, H. (1993). comparison of logistic regression and Mantel-Haenszel procedures for detecting differential item functioning. Applied Psychological Measurement, 17, 105-116. doi: 10.1177/014662169301700201
Roussos, L. A. (1992). Hierarchical agglomerative clustering computer program user’s manual (Unpublished manuscript). University of Illinois at Urbana-Champaign. Roussos, L. A., Stout, F. (1996). Simulation studies of the effects of small sample size and studied item parameters on SIBTEST and Mantel-Haenszel type error performance. Journal of Educational Measurement, 33, 215-230.
Shealy, R., Stout, F. (1993). model-based standardization approach that separates true bias/ DIF from group ability differences and detects test bias/DTF as well as item bias/DIF. Psychometrika, 58, 159—194. Shepard, L. A., Camilli, G., Averill, M. (1981). Comparison of procedures for detecting test-item bias with both internal and external ability criteria. Journal of Educational Statistics, 6, 317-375. doi: 10.2307/1164616 Shepard, L. A., Camilli, G., Williams, D. M. (1984). Accounting for statistical artifacts in item bias research. Journal of Educational Statistics, 9, 93—128. doi: 10.2307/1164716 Stark, 5., Chernyshenko, 0. S., Drasgow, F. (2006). Detecting differential item functioning with CFA and IRT: Toward unified strategy. Journal oprplied Psychology, 91, 1292- 1306. Steinberg, L., Thissen, D. (2006). Using effect sizes for research reporting: Examples using item response theory to analyze differential item functioning. Psychological IVIethods, 11, 402—415. doi: 10.1037/1082-989X.11.4.402 Stout, F., Roussos, L. A. (1995). SIBTEST user’s manual [Computer program manual] (2nd ed.). UrbanaChampaign: University of Illinois, Department of Statistics. Swaminathan, H., Rogers, H. I. (1990). Detecting differential item functioning using logistic regression procedures. Journal ofEducational Measurement, 27, 361- 370. Thissen, D. (2001). IRTLRDIF (Version 2.017) [Computer software]. Chapel Hill: L. L. Thurstone Psychometric Laboratory, University of North Carolina.
Thissen, D., Steinberg, L., Wainer, H. (1993). Detection of differential item functioning using parameters of item response models. In P. Holland H. Wainer (Eds), Difierential item functioning (pp. 67—113). Hillsdale, NJ: Lawrence Erlbaum Associates.
Uttaro, T., Millsap, R. E. (1994). Factors influencing the Mantel-Haenszel procedure in the detection of differential item functioning. Applied Psychological Measurement, 18, 15—25.
Vaughn, B. K., Wang, Q. (2010). DIF trees: Using classification trees to detect differential item functioning. Educational and Psychological Measurement, 70(6), 941— 952. doi: 10.1177/0013164410379326
Waller, N. G. (1998). EZDIF: Detection of uniform and non—uniform differential item functioning with the mantel-haenszel and logistic regression procedures. Applied Psychological Measurement, 22(4), 391—391. doi: 10.1177/014662169802200409
Wang, C., Yeh, Y. L. (2003). Effects of anchor item methods on differential item functioning detection with the likelihood ratio test. Applied Psychological Measurement, 27, 479-498. doi: 10.1177/0146621603259902
Zieky, M. (1993). Practical questions in the use of DIF statistics in test development. In P. Holland H. Wainer (Eds.), Differential item functioning (pp. 337-347). Hillsdale,N]: Erlbaum
Zwick, R. (1990). When do item response function and Mantel—Haenszel definitions of differential item functioning coincide? Journal of Educational Statistics, 15(3), 185-197. doi: 10.3102/10769986015003185

APA	ATALAY KABASAKAL K, ARSAN N, gök b, KELECİOĞLU H (2014). Değişen Madde Fonksiyonunun Belirlenmesinde MTK Olabilirlik Oranı SIBTEST ve Mantel-Haenszel Yöntemlerinin Performanslarının (I. Tip Hata ve Güç) Karşılaştırılması. , 2175 - 2194.
Chicago	ATALAY KABASAKAL Kübra,ARSAN Nihan,gök bilge,KELECİOĞLU Hülya Değişen Madde Fonksiyonunun Belirlenmesinde MTK Olabilirlik Oranı SIBTEST ve Mantel-Haenszel Yöntemlerinin Performanslarının (I. Tip Hata ve Güç) Karşılaştırılması. (2014): 2175 - 2194.
MLA	ATALAY KABASAKAL Kübra,ARSAN Nihan,gök bilge,KELECİOĞLU Hülya Değişen Madde Fonksiyonunun Belirlenmesinde MTK Olabilirlik Oranı SIBTEST ve Mantel-Haenszel Yöntemlerinin Performanslarının (I. Tip Hata ve Güç) Karşılaştırılması. , 2014, ss.2175 - 2194.
AMA	ATALAY KABASAKAL K,ARSAN N,gök b,KELECİOĞLU H Değişen Madde Fonksiyonunun Belirlenmesinde MTK Olabilirlik Oranı SIBTEST ve Mantel-Haenszel Yöntemlerinin Performanslarının (I. Tip Hata ve Güç) Karşılaştırılması. . 2014; 2175 - 2194.
Vancouver	ATALAY KABASAKAL K,ARSAN N,gök b,KELECİOĞLU H Değişen Madde Fonksiyonunun Belirlenmesinde MTK Olabilirlik Oranı SIBTEST ve Mantel-Haenszel Yöntemlerinin Performanslarının (I. Tip Hata ve Güç) Karşılaştırılması. . 2014; 2175 - 2194.
IEEE	ATALAY KABASAKAL K,ARSAN N,gök b,KELECİOĞLU H "Değişen Madde Fonksiyonunun Belirlenmesinde MTK Olabilirlik Oranı SIBTEST ve Mantel-Haenszel Yöntemlerinin Performanslarının (I. Tip Hata ve Güç) Karşılaştırılması." , ss.2175 - 2194, 2014.
ISNAD	ATALAY KABASAKAL, Kübra vd. "Değişen Madde Fonksiyonunun Belirlenmesinde MTK Olabilirlik Oranı SIBTEST ve Mantel-Haenszel Yöntemlerinin Performanslarının (I. Tip Hata ve Güç) Karşılaştırılması". (2014), 2175-2194.

APA	ATALAY KABASAKAL K, ARSAN N, gök b, KELECİOĞLU H (2014). Değişen Madde Fonksiyonunun Belirlenmesinde MTK Olabilirlik Oranı SIBTEST ve Mantel-Haenszel Yöntemlerinin Performanslarının (I. Tip Hata ve Güç) Karşılaştırılması. Kuram ve Uygulamada Eğitim Bilimleri, 14(6), 2175 - 2194.
Chicago	ATALAY KABASAKAL Kübra,ARSAN Nihan,gök bilge,KELECİOĞLU Hülya Değişen Madde Fonksiyonunun Belirlenmesinde MTK Olabilirlik Oranı SIBTEST ve Mantel-Haenszel Yöntemlerinin Performanslarının (I. Tip Hata ve Güç) Karşılaştırılması. Kuram ve Uygulamada Eğitim Bilimleri 14, no.6 (2014): 2175 - 2194.
MLA	ATALAY KABASAKAL Kübra,ARSAN Nihan,gök bilge,KELECİOĞLU Hülya Değişen Madde Fonksiyonunun Belirlenmesinde MTK Olabilirlik Oranı SIBTEST ve Mantel-Haenszel Yöntemlerinin Performanslarının (I. Tip Hata ve Güç) Karşılaştırılması. Kuram ve Uygulamada Eğitim Bilimleri, vol.14, no.6, 2014, ss.2175 - 2194.
AMA	ATALAY KABASAKAL K,ARSAN N,gök b,KELECİOĞLU H Değişen Madde Fonksiyonunun Belirlenmesinde MTK Olabilirlik Oranı SIBTEST ve Mantel-Haenszel Yöntemlerinin Performanslarının (I. Tip Hata ve Güç) Karşılaştırılması. Kuram ve Uygulamada Eğitim Bilimleri. 2014; 14(6): 2175 - 2194.
Vancouver	ATALAY KABASAKAL K,ARSAN N,gök b,KELECİOĞLU H Değişen Madde Fonksiyonunun Belirlenmesinde MTK Olabilirlik Oranı SIBTEST ve Mantel-Haenszel Yöntemlerinin Performanslarının (I. Tip Hata ve Güç) Karşılaştırılması. Kuram ve Uygulamada Eğitim Bilimleri. 2014; 14(6): 2175 - 2194.
IEEE	ATALAY KABASAKAL K,ARSAN N,gök b,KELECİOĞLU H "Değişen Madde Fonksiyonunun Belirlenmesinde MTK Olabilirlik Oranı SIBTEST ve Mantel-Haenszel Yöntemlerinin Performanslarının (I. Tip Hata ve Güç) Karşılaştırılması." Kuram ve Uygulamada Eğitim Bilimleri, 14, ss.2175 - 2194, 2014.
ISNAD	ATALAY KABASAKAL, Kübra vd. "Değişen Madde Fonksiyonunun Belirlenmesinde MTK Olabilirlik Oranı SIBTEST ve Mantel-Haenszel Yöntemlerinin Performanslarının (I. Tip Hata ve Güç) Karşılaştırılması". Kuram ve Uygulamada Eğitim Bilimleri 14/6 (2014), 2175-2194.