SIRALI LOJİSTİK REGRESYON VE POLY-SIBTEST YÖNTEMLERİ İLE DEĞİŞEN MADDE FONKSİYONUNUN BELİRLENMESİ
Yıl: 2020 Cilt: 20 Sayı: 1 Sayfa Aralığı: 705 - 717 Metin Dili: Türkçe DOI: 10.17240/aibuefd.2020.20.52925-665084 İndeks Tarihi: 25-10-2020
SIRALI LOJİSTİK REGRESYON VE POLY-SIBTEST YÖNTEMLERİ İLE DEĞİŞEN MADDE FONKSİYONUNUN BELİRLENMESİ
Öz: Bu çalışmanın amacı psikometride önemli bir geçerlik sorunu teşkil eden madde yanlılığının belirlenmesinde kullanılan farklıdeğişen madde fonksiyonu yöntemlerini kullanarak yöntemlerin uygulamadaki benzerlik ve farklılıklarının ortaya konmasıdır.Bu amaçla alanyazında kullanılan iki yöntem olan sıralı lojistik regresyon ve poly-SIBTEST yöntemleri ile değişen maddefonksiyonu analizleri yapılmıştır. Yöntemlere ilişkin değişen madde fonksiyonu analizleri, PISA 2006’da uygulanan bir öğrencianketi maddelerine uygulanmıştır. Çalışma grubu ise kültürel ve dilsel farklılıkları yansıtan Avustralya, Yeni Zelanda, AmerikaBirleşik Devletleri ve Türkiye olmak üzere dört ülke verisinden oluşmaktadır. Verilerin analizi aşamasında öncelikle öğrencianketinin her bir ülkedeki faktör yapısı doğrulayıcı faktör analizi ile incelenmiştir. Devamında, sıralı lojistik regresyon ve poly-SIBTEST yöntemleri ile ölçme aracının benzer-farklı kültür ve dillerde değişen madde fonksiyonu analizi yapılmış olupyöntemlerin değişen madde fonksiyonunu belirleme benzerlikleri incelenmiştir. Doğrulayıcı Faktör Analizi bulguları ölçmearacının her bir ülkede aynı faktör yapısına sahip olduğunu göstermiştir. Sıralı lojistik regresyon ve poly-SIBTEST yöntemleriile yapılan değişen madde fonksiyonu analiz bulguları ise ülkeler arasında kültürden ve dilden kaynaklı farklılıklar arttıkçadeğişen madde fonksiyonlu madde sayısında artış olduğunu göstermiştir. Yöntemlerin uyumları incelendiğinde ise her ikiyöntemin değişen madde fonksiyonu belirlemede uyumlu olduğu; ancak poly-SIBTEST yöntemi ile daha hassas DMFanalizinin yapıldığı belirlenmiştir.
Anahtar Kelime: DETECTING DIFFERENTIAL ITEM FUNCTIONING BY USING SEQUENTIAL LOGISTIC REGRESSION AND POLY-SIBTEST METHODS
Öz: The aim of this study is to compare the differential item functioning methods used in the determination of item bias, which is an important validity problem in psychometry, and to reveal the similarities and differences in the application. For this purpose, the two preferred methods, sequential logistic regression and poly-SIBTEST, were used to analyze the DIF. PISA 2006 student questionnaire was examined to determine whether there was DIF items according to cultural and linguistic differences. Australia, New Zealand, United States and Turkey were comparatively investigated samples in this study. First, the factor structure of the student questionnaire was examined by confirmatory factor analysis. Subsequently, the sequential logistic regression and poly-SIBTEST analyzes were used to determine whether the questionnaires showed DIF between different cultures and languages. Then, the similarities of DIF determination methods were examined. According to results of the confirmatory factor analysis showed that the measurement model had the same factor structure in all cultures. Sequential logistic regression and poly-SIBTEST findings show that there are items that have different item functioning among countries, and if the linguistic and cultural differences between countries increase, the number of items that have differential item functions increases. When the compatibility of the methods was examined, it was found that both methods were compatible in determining differential item functioning, but more sensitive DIF analysis was performed with poly-SIBTEST method.
Anahtar Kelime: Belge Türü: Makale Makale Türü: Araştırma Makalesi Erişim Türü: Erişime Açık
- Asil, M. (2010). Uluslararası öğrenci değerlendirme programı (PISA) 2006 öğrenci anketinin kültürler arası eşdeğerliğinin incelenmesi. (Yayımlanmamış Doktora Tezi). Hacettepe Üniversitesi, Ankara, Türkiye.
- Asil, M. ve Gelbal, S. (2012). PISA öğrenci anketinin kültürler arası eşdeğerliği. Eğitim ve Bilim, 37(166), 236- 249.
- Angoff, W. H. (1993). Perspectives on differential item functioning methodology. In P. W. Holland & H. Wainer (Eds.), Differential item functioning (pp. 3-23). Hillsdale, NJ, US: Lawrence Erlbaum Associates, Inc.
- American Psycholocigal Assosiation, American Educational Reserach Association & National Council on Measurement in Education. (1999). Standarts for educational and psychological testing. Washington: American National Research Education.
- Atalay Kabasakal, K. ve Kelecioğlu, H (2012). PISA 2006 öğrenci anketinde yer alan maddelerin değişen madde fonksiyonu açısından incelenmesi. Ankara Üniversitesi Eğitim Bilimleri Dergisi, 45(2), 77-96.
- Atalay, K. (2010). PISA 2006 Öğrenci anketinde yer alan tutum maddelerinin değişen madde fonksiyonu açısından incelenmesi. (Yayımlanmamış Yüksek Lisans Tezi). Hacettepe Üniversitesi, Ankara, Türkiye
- Bilir, M. K. (2009). Mixture İtem Response Theory-MIMIC model: simultaneous estimation of differential item functioning for manifest groups and latent classes (Doctoral dissertation). Available from ProQuest Dissertations and Theses database. (UMI No: 3399179)
- Brown, T. A. (2006). Confirmatory factor analysis for applied research. (First Edition). NY: Guilford Publications, Inc.
- Chang, H., Mazzeo, J. ve Roussos, L. (1996). Detecting DIF for polytomously scored items: An adaptation of the SIBTEST procedure. Journal of Educational Measurement, 33(3), 333-353.
- Cheung, G. W. ve Rensvold, R. B. (2002). Evaluating goodness-of-fit indexes for testing measurement invariance. Structural equation modeling, 9(2), 233-255.
- Clauser, B. E. ve Mazor, K. M. (1998). Using statistical procedures to identify differential item functioning test items. Educational Measurement: Issues and Practice, 17, 31-44.
- Demir, S. (2013). PISA 2009 matematik okuryazarlığı alt testinde bulunan maddelerinin Mantel-Haenszel, Sibtest ve Lojistik Regresyon yöntemleri ile değişen madde fonksiyonunun incelenmesi, (Yayımlanmamış Yüksek Lisans Tezi). Abant İzzet Baysal Üniversitesi, Bolu, Türkiye.
- Ercikan, K., Gierl, M., McCreith, T., Puhan, G., ve Koh, K. (June, 2002). Comparability of English and French versions of SAIP for reading, mathematics and science items. Paper presented at the annual meeting of the Canadian Society for Studies in Education, Toronto, ON.
- Ercikan, K. ve Koh, K. (2005). Examining the construct comparability of the English and French versions of TIMSS. International Journal of Testing, 5(1), 23-35.
- Gelin, M. N. (2001). Type I error rates of the DIF MIMIC approach using Joreskog’s covariance matrix with ML and WLS estimation (Doctoral dissertation). Retrieved from https://open.library.ubc.ca/cIRcle/collections/ubctheses/831/items/1.0054355
- Gierl, M. J. (2000). Construct Equivalence on Translated Achievement Tests. Canadian Journal of Education, 25(4), 280-296
- Gierl, M., Khaliq, S. N. ve Boughton, K. (1999). Gender Differential Item Functioning in Mathematics and Science: Prevalence and Policy Implications, Paper presented at the Canadian Society for the Study of Education.
- Gómez-Benito, J. ve Navas-Ara, M. J. (2000). A Comparison of χ2, RFA and IRT Based Procedures in the Detection of DIF. Quality and Quantity, 34(1), 17-31.
- Henderson, D. L. (1999). Investigation of differential item functioning in exit Examinations across item format and subject area. Unpublished doctor dissertation, University of Alberta, Edmonton, Alberta, Canada.
- Hooper, D., Coughlan, J. ve Mullen, M. (2008). Structural equation modeling: Guidelines for determining model fit. The Electronic Journal of Business Research Methods. 6(1), 53-60.
- Kamata, A. ve Vaughn, B. K. (2004). An introduction to differential ıtem functioning analysis. Learning Disabilities: A Contemporary Journal, 2(2), 49-69.
- Karakoc Alatlı, B., Ayan, C., Polat Demir, B. Ve Uzun, G. (2016). Examination of the TIMSS 2011 Fourth Grade Mathematics Test in terms of cross-cultural measurement invariance. Eurasian Journal of Educational Research, 66, 389- 406.
- Kristanjansonn E., R. Aylesworth, McDowell, I. ve B. D. Zumbo (2005). A comparison of four methods for detecting differeantial item functioning in ordered response model. Educational and Psychological Measurement. 6, 935-953.
- Köse, İ. A. (2015). PISA 2009 öğrenci anketi alt ölçeklerinde (q32-q33) bulunan maddelerin değişen madde fonksiyonu açısından incelenmesi. Kastamonu Eğitim Dergisi, 23(1), 227-240.
- Lyons-Thomas, J., Sandilands, D. ve Ercikan, K. (2014). Gender differential item functioning in mathematics in four international jurisdictions, Eğitim ve Bilim, 39 (172), 20-32.
- Muthén, L. K. ve Muthén, B. O. (2012). MPlus:Statistical analysis with latent variables--User's guide.
- Penfield, R. D. ve Camilli, G. (2007). Differential item functioning and item bias. In S. Sinharay, and C. R. Rao (Eds.), Handbook of statistics, 26, (pp. 125-167). North Holland.
- Schulz, W. (2003). Validating questionnaire constructs in ınternational studies. Two examples from PISA 2000. Paper Presented at the Annual Meetings of the American Educational Research Association (AERA) in Chicago, 21-25
- Schulz, W. (2005). Testing parameter ınvariance for questionnaire ındices using confirmatory factor analysis and ıtem response theory. Paper Presented at the Annual Meetings of the American Educational Research Association (AERA) in San Francisco, 7-11
- Schulz, W. (2008). Questionnaire construct validation in the ınternational civic and citizenship education study. Paper presented to the 3rd IEA International Research Conference in Taipei, 23-27
- Shealy, R. T. ve Stout, W. F. (1993). A model based standardization approach that separates true bias/DIF. Psychometrika, 58, 197–239.
- Swaminathan, H. ve Rogers, H. J. (1990). Detecting differential item functioning using logistic regression procedures. Journal of Educational Measurement, 27(4), 361- 370.
- Tabachnick, B. G. ve Fidell, L. S. (2007). Using Multivariate Statistics (5th ed.). Boston MA: Allyn & Bacon.
- Tiryaki, F. (2019). PISA 2015 öğrenci tutum anketlerinin değişen madde fonksiyonu ve ölçme değişmezliğinin incelenmesi. (Yayınlanmamış Yüksek Lisans Tezi). Ankara Üniversitesi, Ankara, Türkiye.
- Yuan, K. H. ve Chan, W. (2016). Measurement invariance via multigroup SEM: Issues and solutions with chisquare- difference tests. Psychological methods, 21(3), 405.
- Zumbo, B. D. (1999). A handbook on the theory and methods of differential item functioning (DIF): Logistic regression modeling as a unitary framework for binary and likert-type (ordinal) ıtem scores. Ottawa, ON: Directorate of Human Resources Research and Evaluation, Department of National Defense.
| APA | SIRGANCI G, Çakan M (2020). SIRALI LOJİSTİK REGRESYON VE POLY-SIBTEST YÖNTEMLERİ İLE DEĞİŞEN MADDE FONKSİYONUNUN BELİRLENMESİ. , 705 - 717. 10.17240/aibuefd.2020.20.52925-665084 |
| Chicago | SIRGANCI GOZDE,Çakan Mehtap SIRALI LOJİSTİK REGRESYON VE POLY-SIBTEST YÖNTEMLERİ İLE DEĞİŞEN MADDE FONKSİYONUNUN BELİRLENMESİ. (2020): 705 - 717. 10.17240/aibuefd.2020.20.52925-665084 |
| MLA | SIRGANCI GOZDE,Çakan Mehtap SIRALI LOJİSTİK REGRESYON VE POLY-SIBTEST YÖNTEMLERİ İLE DEĞİŞEN MADDE FONKSİYONUNUN BELİRLENMESİ. , 2020, ss.705 - 717. 10.17240/aibuefd.2020.20.52925-665084 |
| AMA | SIRGANCI G,Çakan M SIRALI LOJİSTİK REGRESYON VE POLY-SIBTEST YÖNTEMLERİ İLE DEĞİŞEN MADDE FONKSİYONUNUN BELİRLENMESİ. . 2020; 705 - 717. 10.17240/aibuefd.2020.20.52925-665084 |
| Vancouver | SIRGANCI G,Çakan M SIRALI LOJİSTİK REGRESYON VE POLY-SIBTEST YÖNTEMLERİ İLE DEĞİŞEN MADDE FONKSİYONUNUN BELİRLENMESİ. . 2020; 705 - 717. 10.17240/aibuefd.2020.20.52925-665084 |
| IEEE | SIRGANCI G,Çakan M "SIRALI LOJİSTİK REGRESYON VE POLY-SIBTEST YÖNTEMLERİ İLE DEĞİŞEN MADDE FONKSİYONUNUN BELİRLENMESİ." , ss.705 - 717, 2020. 10.17240/aibuefd.2020.20.52925-665084 |
| ISNAD | SIRGANCI, GOZDE - Çakan, Mehtap. "SIRALI LOJİSTİK REGRESYON VE POLY-SIBTEST YÖNTEMLERİ İLE DEĞİŞEN MADDE FONKSİYONUNUN BELİRLENMESİ". (2020), 705-717. https://doi.org/10.17240/aibuefd.2020.20.52925-665084 |
| APA | SIRGANCI G, Çakan M (2020). SIRALI LOJİSTİK REGRESYON VE POLY-SIBTEST YÖNTEMLERİ İLE DEĞİŞEN MADDE FONKSİYONUNUN BELİRLENMESİ. Abant İzzet Baysal Üniversitesi Eğitim Fakültesi Dergisi, 20(1), 705 - 717. 10.17240/aibuefd.2020.20.52925-665084 |
| Chicago | SIRGANCI GOZDE,Çakan Mehtap SIRALI LOJİSTİK REGRESYON VE POLY-SIBTEST YÖNTEMLERİ İLE DEĞİŞEN MADDE FONKSİYONUNUN BELİRLENMESİ. Abant İzzet Baysal Üniversitesi Eğitim Fakültesi Dergisi 20, no.1 (2020): 705 - 717. 10.17240/aibuefd.2020.20.52925-665084 |
| MLA | SIRGANCI GOZDE,Çakan Mehtap SIRALI LOJİSTİK REGRESYON VE POLY-SIBTEST YÖNTEMLERİ İLE DEĞİŞEN MADDE FONKSİYONUNUN BELİRLENMESİ. Abant İzzet Baysal Üniversitesi Eğitim Fakültesi Dergisi, vol.20, no.1, 2020, ss.705 - 717. 10.17240/aibuefd.2020.20.52925-665084 |
| AMA | SIRGANCI G,Çakan M SIRALI LOJİSTİK REGRESYON VE POLY-SIBTEST YÖNTEMLERİ İLE DEĞİŞEN MADDE FONKSİYONUNUN BELİRLENMESİ. Abant İzzet Baysal Üniversitesi Eğitim Fakültesi Dergisi. 2020; 20(1): 705 - 717. 10.17240/aibuefd.2020.20.52925-665084 |
| Vancouver | SIRGANCI G,Çakan M SIRALI LOJİSTİK REGRESYON VE POLY-SIBTEST YÖNTEMLERİ İLE DEĞİŞEN MADDE FONKSİYONUNUN BELİRLENMESİ. Abant İzzet Baysal Üniversitesi Eğitim Fakültesi Dergisi. 2020; 20(1): 705 - 717. 10.17240/aibuefd.2020.20.52925-665084 |
| IEEE | SIRGANCI G,Çakan M "SIRALI LOJİSTİK REGRESYON VE POLY-SIBTEST YÖNTEMLERİ İLE DEĞİŞEN MADDE FONKSİYONUNUN BELİRLENMESİ." Abant İzzet Baysal Üniversitesi Eğitim Fakültesi Dergisi, 20, ss.705 - 717, 2020. 10.17240/aibuefd.2020.20.52925-665084 |
| ISNAD | SIRGANCI, GOZDE - Çakan, Mehtap. "SIRALI LOJİSTİK REGRESYON VE POLY-SIBTEST YÖNTEMLERİ İLE DEĞİŞEN MADDE FONKSİYONUNUN BELİRLENMESİ". Abant İzzet Baysal Üniversitesi Eğitim Fakültesi Dergisi 20/1 (2020), 705-717. https://doi.org/10.17240/aibuefd.2020.20.52925-665084 |
