Türkiye’de Eğitim Alanında Yayımlanan Ölçek Geliştirme Çalışmalarının Uygunluğunun Çok Yüzeyli Rasch Modeli ile İncelenmesi

Gülden KAYA UYANIK, (Yrd. Doç. Dr., Sakarya Üniversitesi, Sakarya, Türkiye)
Neşe GÜLER, (Doç. Dr., Sakarya Üniversitesi, Sakarya, Türkiye)
Gülşen TAŞDELEN TEKER, (Yrd. Doç. Dr. Hacettepe Üniversitesi, Ankara, Türkiye)
Süleyman DEMİR (Araş. Gör., Sakarya Üniversitesi, Sakarya, Türkiye)
Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi
7 0
Yıl: 2017 Cilt: 0 Sayı: 8 Sayfa Aralığı: 183 - 199 Metin Dili: Türkçe İndeks Tarihi: 29-07-2022

Türkiye’de Eğitim Alanında Yayımlanan Ölçek Geliştirme Çalışmalarının Uygunluğunun Çok Yüzeyli Rasch Modeli ile İncelenmesi

Öz:
Bu çalışmanın amacı Türkiye'de 2010-2015 yılları arasında sosyal bilimler atıf indeksinde (Social Sciences Citation Index- SSCI) taranan bilimsel dergilerde yayımlanmış ölçek geliştirme çalışmalarının, ölçek geliştirme sürecindeki adımları ne derece sağlayabildiklerini incelemektir. Araştırma kapsamında Türkiye'de eğitim alanındaki üç dergide 2010-2015 yılları arasında yayınlanan 57 ölçek geliştirme makalesi, Ölçme ve Değerlendirme alanında dört uzman tarafından araştırmacıların geliştirdiği "Ölçek Geliştirme Makaleleri İnceleme Formu" ile puanlanmıştır. Ölçek Geliştirme Makaleleri İnceleme Formu alan yazında olan genel görüşler dikkate alınarak 19 maddeden oluşan bir form olarak düzenlenmiştir. Analizler çok yüzeyli Rasch modeli (ÇYRM) için FACETS ve frekans analizi için SPSS programı kullanılarak gerçekleştirilmiştir. Çalışmada yer alan üç yüzeyin (makalelerin belirlenen ölçütleri karşılama düzeyi, değerlendirme formunda kullanılan ölçütler ve puanlayıcılar) ve değerlendirmedeki ölçütlerin puanlama düzeylerine ait bulgular ayrı ayrı elde edilmiştir. Analizler sonucunda, Logit cetvele göre çalışmada esas alınan ölçütleri karşılayabilme düzeyi en yüksek 14 numaralı makalenin ve en düşük 27 numaralı makalenin olduğu gözlenmektedir. Değerlendirme formunda yer alan ölçütler incelendiğinde güçlük düzeyi en yüksek (karşılanması en zor) 16. ölçüt (Ölçüt geçerliği analizi sonucu elde edilen değerler uygundur) iken güçlük düzeyi en düşük (karşılanması en kolay) 3. ölçüt (Ölçeğin amacına uygun bir hedef kitle belirlenmiştir.) olduğu belirlenmiştir. Puanlayıcılara ait ölçümler incelendiğinde ise 4. puanlayıcının en katı (en yüksek pozitif değer), 1. puanlayıcının ise en cömert (en düşük negatif değer) puanlayıcı olduğu gözlenmektedir. Ayrıca incelenen 57 makalenin 27 tanesinde (%47,4) geliştirilen ölçekler makale içeriğinde verilirken 30 makalede (%52,6) bu durum gözlenmemiştir. Geliştirilen ölçeklerin diğer araştırmacılar tarafından kullanıldığında puanlamanın nasıl yapılacağına dair bilginin verilme durumu ise makalelerin %56,1'inde (32 makale) gözlenirken % 43,9'unda (25 makale) puanlama ile ilgili bir bilgiye rastlanmamıştır
Anahtar Kelime:

Konular: Eğitim, Eğitim Araştırmaları

Investigation of Scale Development Studies Conducted in Educational Sciences Published in Turkey by Many-Faceted Rasch Model

Öz:
The aim of this study is to investigate the scale development studies that were conducted in Turkey from 2010 to 2015 and published in the journals indexed in Social Sciences Citation Index (SSCI) by means of their verifications about scale development steps. In the study, 57 scale development articles published in between years 2010-2015 in three different journals scope of whom are educational sciences were rated according to “Scale Development Article Investigation Form” by four measurement and evaluation expert. The 19-item Scale Development Article Investigation Form was composed according to the view of the literature. The many-facet Rasch model analysis were done by using FACETS and frequencies were gathered by using SPSS programs. The analysis results of the three facets (the level of articles by means of verification of determined criteria, criteria used in investigation form, and the raters) used in the study and the rating levels of investigated criteria were gathered separately. As a result of the study it was seen that the 14th article was cover the investigated criteria mostly and the 27th article was the least cover one according to the logit scale. When the criteria used for investigation of the articles were examined, the 16th criteria was the most difficult one. On the other hand, the third criteria (There were a suitable sample for the aim of scale.) was the easiest one to meet. When the ratings of raters were investigated, it was observed that the fourth rater was the strictest one and the first rater was more lenient one. Moreover, the developed scales were given in just 27 of 57 investigated articles (47,4%) and there were no such a situation on 30 articles (52,6%). While the scoring information of developed scales for other researchers who want to use the developed scales in their future studies was given only 56,1% (f=32) of investigated articles, there were no such information for 43,9 % of investigated articles
Anahtar Kelime:

Konular: Eğitim, Eğitim Araştırmaları
Belge Türü: Makale Makale Türü: Araştırma Makalesi Erişim Türü: Erişime Açık
  • Abu Kassim, N. L. (2007, June). Exploring rater judging behaviour using the many-facet Rasch model. Paper Presented in the Second Biennial International Conference on Teaching and Learning of English in Asia: Exploring New Frontiers (TELiA2), Holiday Villa Beach & Spa Resort, Langkawi. Faculty of Communication and Modern Languages, Universiti Utara Malaysia.
  • Acar Güvendir, M. ve Özer Özkan, Y. (2015). Türkiye’deki eğitim alanında yayımlanan bilimsel dergilerde ölçek geliştirme ve uyarlama konulu makalelerin incelenmesi. Elektronik Sosyal Bilimler Dergisi, 14(52), 23-33.
  • Anshel, M. H., Weatherby, N. L., Kang M. ve Watson, T. (2009). Rasch Calibration Of A Unidimensional Perfectionism Inventory For Sport. Psychology of Sport and Exercise, 10(2009), 210-216.
  • Barrett, G. V. (1972). Research models of the future for industrial and organizational psychology. Personnel Psychology, 25, 1-17
  • Baştürk, R. ve Işıkoğlu, N. (2008). Okul Öncesi Eğitim Kurumlarının İşlevsel Kalitelerinin Çok-Yüzeyli Rasch Ölçme Modeli İle Analizi. Kuram ve Uygulamada Eğitim Bilimleri, 8(1), 7-32.
  • Boztunç Öztürk, N., Eroğlu, G. ve Kelecioğlu, H. (2014). Eğitim alanında yapılan ölçek uyarlama makalelerinin incelenmesi. Eğitim ve Bilim, 40(178), 123-137.
  • Brinthaupt, T. M. ve Kang, M. (2012). Many-Faceted Rasch Calibraton: An Example Using the Self-Talk Scale. Assessment, 21(2), 241-249.
  • Clark, L. A., & Watson, D. (1995). Constructing validity: Basic issues in objective scale development. Psychological Assessment, 7, 309-319.
  • Cohen R. J. & Swerdlik M.E. (2010). Psychological testing and assessment. Boston: McGraw-Hill Companies.
  • Cook, J. D., Hepworth, S. J., Wall, T. D., & Warr, P. B. (1981). The experience of work. London: Academic Press.
  • Çüm, S. ve Koç, N. (2013). Türkiye’de psikoloji ve eğitim bilimleri dergilerinde yayımlanan ölçek geliştirme ve uyarlama çalışmalarının incelenmesi. Eğitim Bilimleri ve Uygulama, 12(24), 115-135.
  • Delice, A. ve Ergene, Ö. (2015). Investigation of scale development and adaptation studies: An example of mathematics education articles. Karaelmas Journal of Educational Sciences 3, 60-75
  • DeVellis, R.F. (2003). Scale development: Theory and applications. Newbury Park: Sage Publications, Inc.
  • Edenborough R. (1999). Using psychometrics: a practical guide to testing and assessment. London: Kogan Page.
  • Engelhard, G. (1994). Examining rater errors in the assessment of written composition with a many-faceted Rasch model. Journal of Educational Measurement, 31(2), 93-112.
  • Erkuş, A. (2007). Ölçek geliştirme ve uyarlama çalışmalarında karşılaşılan sorunlar. Türk Psikoloji Bülteni, 13(40), 17-25.
  • Erkuş, A. (2012). Psikolojide ölçme ve ölçek geliştirme-1: Temel kavramlar ve işlemler. Ankara: Pegem Akademi.
  • Güler, N. (2014). Analysis Of Open-Ended Statistics Questions With Many Facet Rasch Model. Eurasian Journal of Educational Research, 55, 73-90.
  • Güler, N. ve Gelbal, S. (2010). A Study Based On Classical Test Theory And Many Facet Rasch Model. Eurasian Journal of Educational Research, 38, 108-125.
  • Hetherman, S. C. (2004). An application of multi faceted Rasch measurement to monitör effectiveness of the written composition in English in the new york city department of education. Unpublished phd. dissertation. Teacher College, Colombia University, Colombia.
  • Hinkin, T. R. (1995). A review of scale development practices in the study of organizations. Journal of Management, 21(5), 967-988.
  • Hinkin, T. R., Tracey, J. B. & Enz, C.A. (1997). Scale construction: developing reliable and valid measurement instruments. Journal of Hospitality and Tourism Research, 21(1), 100‐120.
  • İlhan, M. (2016). Açık uçlu sorularla yapılan ölçmelerde klasik test kuramı ve çok yüzeyli Rasch modeline göre hesaplanan yetenek kestirimlerinin karşılaştırılması. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 31(2), 346-368. Doi: 10.16986/HUJE.2016015182
  • Karasar, N. (1998). Araştırmalarda rapor hazırlama yöntemi. Ankara: Pars Matbaacılık Sanayi. Kim, Y., Park, I. & Kang, M. (2012). Examining rater effects of the TGMD-2 on children with intellectual disability. Adapted Physical Activity Quarterly, 29, 346-365.
  • Lee, M. Peterson, J. J. ve Dixon, A. (2010). Rasch Calibration Of Physical Activity Self-Efficacy And Social Support Scale For Persons With İntellectual Disabilities. Research in Developmental Disabilities, 31(2010), 903-913.
  • Linacre, J.M. (2014). A user's guide to FACETS Rasch-model computer programs. [Available online at: http://www.winsteps.com/a/facets-manual.pdf], Retrieved on July 13, 2015.
  • Linacre, J. M. (2007). A User’s Guide to FACETS: Rasch Model Computer Programs. Chicago, IL.
  • Linacre, J. M. (1989). Many-facet Rasch Measurement. Yayınlanmamış doktora tezi. University of Chicago, Chicago, IL.
  • Lunz, M. E., Wright, B. D. & Linacre, J. M. (1990). Measuring the impact of judge severity on examination scores. Applied Measurement in Education, 3(4), 331-345.
  • Mulqueen C., Baker D., & Dismukes, R. K. (2000, April). Using multifacet Rasch analysis to examine the effectiveness of rater training. Presented at the 15th Annual Conference for the Society for Industrial and Organizational Psychology (SIOP). New Orleans
  • Murphy K.R. & Davidshofer C.O. (2005). Psychological testing: Principles and applications. New Jersey: Pearson Education International.
  • Randall, J. & Engelhard, G. Jr. (2009). Examining teacher grades using Rasch measurement theory. Journal of Educational Measurement, 46(1), 1-18.
  • Revesz, A. (2012). Working Memory and the Observed Effectiveness of Recasts on Different L2 Outcome Measures. Language Learning, 62(1), 93-132.
  • Schriesheim, C. A., Powers, K. J., Scandura, T. A., Gardiner, C. C., Lankau, M. J. (1993). Improving construct measurement in management research: Comments and a quantitative approach for assessing the theoretical content adequacy of paper-and-pencil survey-type instruments. Journal of Management, 19, 385-417.
  • Semerci, Ç. (2011). Doktora yeterlikler çerçevesinde öğretim üyesi, akran ve öz değerlendirmelerin rasch ölçme modeliyle analizi. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 2(2), 164-171.
  • Semerci, Ç. (2012). Öğrencilerin BÖTE Bölümüne İlişkin Görüşlerinin Rasch Ölçme Modeline Göre Değerlendirilmesi (Fırat Üniversitesi Örneği). E-Journal of World Science Academy, NWSA-Education Sciences, 1CO542, 7(2), 777-784.
  • Smith, V. E. & Kulikowich, M. J. (2004). An application of generalizability theory and many facet Rasch measurement using a complex problem-solving skills assessment. Educational and Psychological Measurement, 64, 617-639.
  • Stone, E. (1978). Research methods in organizational behavior. Glenview, IL: Scott, Foresman.
  • Sudweeks, R.R., Reeve, S., & Bradshaw, W.S. (2005). A comparison of generalizability theory and many-facet Rasch measurement in an analysis of college sophomore writing. Assessing Writing, 9(3), 239-261.
  • Tavşancıl, E., Güler, G. ve Ayan, C. (2014). 2002-2012 yılları arasında Türkiye’de geliştirilen bazı tutum ölçeği geliştirme çalışmalarının ölçek geliştirme süreci açısından incelenmesi. IV. Ulusal Eğitimde ve Psikolojide Ölçme ve Değerlendirme Kongresi (Uluslararası Katılımlı) 9-13 Haziran, Hacettepe Üniversitesi, Ankara.
  • Tezbaşaran, Ata. (2008). Likert tipi ölçek geliştirme kılavuzu. Üçüncü baskı, Türk Psikologlar Derneği Yayını, Ankara.
  • Turner, J. (2003). Examining on art portfolio assessment using a many facet Rasch measurement model. Unpublished phd. dissertation. Boston College, Boston.
  • Wright, B. D. ve Linacre, J. M. (1992). Combining and splitting categories. Rasch Measurement Transactions, 6(3) 233-235.
  • Wright, B. D., & Linacre, J. M. (1994). Reasonable mean-square fit values. Rasch Measurement: Transactions of the Rasch Measurement SIG, 8(3), 370.
  • Yıldırım, A. ve Simsek, H. (2008). Sosyal bilimlerde nitel araştırma yöntemleri. Ankara: Seçkin Yayıncılık.
APA KAYA UYANIK G, GÜLER N, Tasdelen Teker G, Demir S (2017). Türkiye’de Eğitim Alanında Yayımlanan Ölçek Geliştirme Çalışmalarının Uygunluğunun Çok Yüzeyli Rasch Modeli ile İncelenmesi. , 183 - 199.
Chicago KAYA UYANIK GULDEN,GÜLER Neşe,Tasdelen Teker Gulsen,Demir Süleyman Türkiye’de Eğitim Alanında Yayımlanan Ölçek Geliştirme Çalışmalarının Uygunluğunun Çok Yüzeyli Rasch Modeli ile İncelenmesi. (2017): 183 - 199.
MLA KAYA UYANIK GULDEN,GÜLER Neşe,Tasdelen Teker Gulsen,Demir Süleyman Türkiye’de Eğitim Alanında Yayımlanan Ölçek Geliştirme Çalışmalarının Uygunluğunun Çok Yüzeyli Rasch Modeli ile İncelenmesi. , 2017, ss.183 - 199.
AMA KAYA UYANIK G,GÜLER N,Tasdelen Teker G,Demir S Türkiye’de Eğitim Alanında Yayımlanan Ölçek Geliştirme Çalışmalarının Uygunluğunun Çok Yüzeyli Rasch Modeli ile İncelenmesi. . 2017; 183 - 199.
Vancouver KAYA UYANIK G,GÜLER N,Tasdelen Teker G,Demir S Türkiye’de Eğitim Alanında Yayımlanan Ölçek Geliştirme Çalışmalarının Uygunluğunun Çok Yüzeyli Rasch Modeli ile İncelenmesi. . 2017; 183 - 199.
IEEE KAYA UYANIK G,GÜLER N,Tasdelen Teker G,Demir S "Türkiye’de Eğitim Alanında Yayımlanan Ölçek Geliştirme Çalışmalarının Uygunluğunun Çok Yüzeyli Rasch Modeli ile İncelenmesi." , ss.183 - 199, 2017.
ISNAD KAYA UYANIK, GULDEN vd. "Türkiye’de Eğitim Alanında Yayımlanan Ölçek Geliştirme Çalışmalarının Uygunluğunun Çok Yüzeyli Rasch Modeli ile İncelenmesi". (2017), 183-199.
APA KAYA UYANIK G, GÜLER N, Tasdelen Teker G, Demir S (2017). Türkiye’de Eğitim Alanında Yayımlanan Ölçek Geliştirme Çalışmalarının Uygunluğunun Çok Yüzeyli Rasch Modeli ile İncelenmesi. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 0(8), 183 - 199.
Chicago KAYA UYANIK GULDEN,GÜLER Neşe,Tasdelen Teker Gulsen,Demir Süleyman Türkiye’de Eğitim Alanında Yayımlanan Ölçek Geliştirme Çalışmalarının Uygunluğunun Çok Yüzeyli Rasch Modeli ile İncelenmesi. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi 0, no.8 (2017): 183 - 199.
MLA KAYA UYANIK GULDEN,GÜLER Neşe,Tasdelen Teker Gulsen,Demir Süleyman Türkiye’de Eğitim Alanında Yayımlanan Ölçek Geliştirme Çalışmalarının Uygunluğunun Çok Yüzeyli Rasch Modeli ile İncelenmesi. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, vol.0, no.8, 2017, ss.183 - 199.
AMA KAYA UYANIK G,GÜLER N,Tasdelen Teker G,Demir S Türkiye’de Eğitim Alanında Yayımlanan Ölçek Geliştirme Çalışmalarının Uygunluğunun Çok Yüzeyli Rasch Modeli ile İncelenmesi. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi. 2017; 0(8): 183 - 199.
Vancouver KAYA UYANIK G,GÜLER N,Tasdelen Teker G,Demir S Türkiye’de Eğitim Alanında Yayımlanan Ölçek Geliştirme Çalışmalarının Uygunluğunun Çok Yüzeyli Rasch Modeli ile İncelenmesi. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi. 2017; 0(8): 183 - 199.
IEEE KAYA UYANIK G,GÜLER N,Tasdelen Teker G,Demir S "Türkiye’de Eğitim Alanında Yayımlanan Ölçek Geliştirme Çalışmalarının Uygunluğunun Çok Yüzeyli Rasch Modeli ile İncelenmesi." Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 0, ss.183 - 199, 2017.
ISNAD KAYA UYANIK, GULDEN vd. "Türkiye’de Eğitim Alanında Yayımlanan Ölçek Geliştirme Çalışmalarının Uygunluğunun Çok Yüzeyli Rasch Modeli ile İncelenmesi". Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi 8 (2017), 183-199.
Sayfa Oluşturulma Tarihi
23-04-2024 2:55

İLETİŞİM

TÜBİTAK ULAKBİM TR Dizin

Yüzüncüyıl, İşçi Blokları Mahallesi

Muhsin Yazıcıoğlu Caddesi No:51/C

06530 Çankaya / ANKARA +90 (312) 298 92 00

trdizin@tubitak.gov.tr

TÜBİTAK ULAKBİM Ulusal Akademik Ağ ve Bilgi Merkezi Cahit Arf Bilgi Merkezi © Tüm Hakları Saklıdır. Gizlilik Politikası Kullanım Şartları