Problem Durumu: Eğitimde kullanılan ölçme araç ve yöntemlerinden biri de açık-uçlu maddelerdir. Açık-uçlu maddeler, öğrencilerin cevaplarını kendi ifadeleriyle özgürce aktarabilmelerini sağlarken diğer bazı ölçme araçlarıylaanaliz edilemeyen eksikleri/hataları analiz edebilmeyi de mümkün kılar. Açık-uçlu maddeler öğrencilerin düşünme ve strateji kurabilme sürecinin izlenmesini; öğrencinin bilgi düzeyinin ve bilgiyi nasıl yapılandırdığının daha geçerli şekilde anlaşılabilmesini sağlar. Açık-uçlu maddelerin, çoktan seçmeli maddelere göre başlıca üç avantajı bulunmaktadır: 1. Şans başarısını ortadan kaldırarak bu sebeple oluşacak ölçme hatasını azaltıp; daha güvenilir sonuçlara ulaşılmasını sağlar. 2. Çoktan seçmeli maddelerde öğrenci, doğru cevabı seçeneklerden giderek de bulabilmektedir. Ancak bu tür bir sağlama yapılarak doğru cevaplamak, açık-uçlu maddelerde mümkün değildir. Örneğin; 2(X+4)= 38-X eşitliğinde X değerinin bulunmasında; öğrenci seçeneklerde verilen değerleri denklemde yerine koyarak doğru cevabı bulabilir. Halbuki öğrenciden bilmesi istenilen çözüm yolu bu değildir. Bu durum, ölçmenin istenilen yapıdan farklı bir yapıyı ölçmesine sebep olacaktır ki bu da testin yapı geçerliğinin düşmesine yol açar. Açık-uçlu maddelerde yapı geçerliğini tehdit eden bu tür bir faktör bulunmamaktadır. 3. Çoktan seçmeli maddelerin doğasında yer alan istenmeyen düzeltici dönütün yapılmasına izin vermez. Öğrenci, doğru cevabı seçeneklerde bulamayınca soruya tekrar dönüp yeni bir stratejiyle cevabı bulma yoluna gitmektedir. Açık-uçlu maddelerde bu tür bir durum söz konusu değildir. Özellikle sentez ve değerlendirme gibi üst düzey bilişsel davranış basamaklarının geçerli bir şekilde ölçülebilmesini sağlayan açık-uçlu maddelerin en önemlidezavantajı ise puanlanmasıdır. Açık-uçlu maddelere verilen cevapların objektif puanlanmasındaki güçlük, elde edilen puanların güvenirliğini düşüren önemli sebeplerden biridir. Açık-uçlu maddelere güvenirliği etkileyen farklı hata kaynakları da bulunmaktadır. Sınavın bütününü oluşturan her bir maddenin iç-tutarlılığı, farklı zamanlarda aynı maddelere aynı öğrencilerin verdikleri cevaplar arasındaki tutarlığı ifade eden test-tekrar test güveniliği gibi klasik test kuramı (KTK)'nda yer alan herbir hata kaynağı için farklı güvenirlik katsayıları hesaplamak mümkündür. KTK'da tüm hata kaynaklarının ve bunlar arasındaki etkileşimin birlikte aynı anda ele alınabildiği bir yöntemle güvenirliğin hesaplanması mümkün olmamaktadır. Açık-uçlu maddelerde olduğu gibi hata kaynaklarının birden fazla olduğu ölçme durumlarında KTK'nın bu sınırlılığını ortadan kaldıran genellenebilirlik ve madde tepki kuramlarının (MTK) kullanılması tercih edilmektedir. Bu çalışmada, açık-uçlu istatistik maddelerinden alınan puanların güvenirliği; öğrenci, madde ve puanlayıcı yüzeyinin birlikte ele alındığı MTK'da yer alan, Rasch modelinin bir uzantısı olan çok yüzeyli Rasch modeli (ÇYRM) kullanılarak incelenmiştir.Araştırmanın Amacı:Bu çalışmada, açık-uçlu maddelerden oluşan istatistik sınavı puanlarının ÇYRM analiziyle herbir yüzey (öğrenciler, maddeler ve puanlayıcılar) için uyum indeksleri ve güvenirlik katsayılarının bulunması, sonuçlar doğrultusunda puanların güvenirliğinin yorumlanması amaçlanmıştır. Araştırmanın Bulguları: Araştırmada yer alan 55 öğrencinin 10 maddeye verdiği cevapların üç puanlayıcı tarafından puanlanmasıyla elde edilen veriler logit cetvelle incelenmiştir. Bu cetvelde tüm yüzeylerin sonuçlarını ortak bir doğrusal ölçek üzerinde görmek mümkündür. Cetvelde, öğrenci sütunu incelendiğinde, -1'den 1'e maddeleri en az doğru cevaplayan öğrencilerden en çok doğru cevaplayanlara doğru bir sıralama yer almaktadır. Böylece, en az başarı gösterenin 2. (logit puanı -0.33);en yüksek başarı gösterenlerin 19. (logit puanı 2.00), 9. ve 14. öğrenciler olduğunu açıkça görmek mümkündür. Maddelerin yer aldığı sütunda da -1'e en yakın madde, güçlük düzeyi en düşük (en zor) iken; 1'e yaklaştıkça maddelerin güçlük düzeyleri artmakta (en kolay)'dır. Böylece, en zor 1. ve 2.; en kolay 10. maddenin olduğu görülmektedir. Puanlayıcı sütununda -1'den 1'e; en cömert puan verenden en katı puanlayıcıya doğrubir gidiş söz konusudur ve üç puanlayıcının da puanlamadaki katılık-cömertlik düzeylerinin aynı olduğu (0 logits düzeyinde) görülmektedir. Verilerin, modele uyumunu iç ve dış uyum istatistikleri göstermektedir.Dış-uyum, gözlenen ile beklenen veriler arasındaki artıkların kareler ortalamasıdır ve beklenmedik uç değerlere karşı oldukça duyarlıdır. İç-uyum ise dış-uyuma göre uç değerlere karşı daha az duyarlıdır. İç-uyum için istenilen değer 1 olup; daha büyük değerler verilerin beklenenden daha fazla değişim gösterdiğini, daha küçük değelerse beklenenden daha az değişim olduğunu (veriler arası bağımlılık) gösterir.Verilerin modele uyumlu olması durumunda her iki kareler ortalaması için de beklenen değerler 1'dir. Alan yazında uyumun olduğunu söyleyebilmek üzere; dış ve iç uyum için belirtilen sınır değerler çok büyük farklılıklar göstermemektedir.Kabul edilebilir değerler (0.6, 1.5) ya da (0.5, 1.5) aralığında yer almaktadır. Buna göre; 9, 14, 22, 26, 10, 12, 8, 5, 4, 25 numaralı öğrenciler kabul edilebilir sınırların dışında iç ya da dışuyum değerleri göstermişlerdir. Son olarak, ayırma indeksinin 1.95 ve güvenirlik katsayısının .79 olduğu görülmüştür. Buradan, testin iç-tutarlılık katsayısının kabul edilebilir düzeyde olduğu söylenebilir. Maddeler için elde edilen analiz sonuçları incelendiğinde (Şekil 1), en zor 10. (logit değeri 0.18), en kolay 1. ve 2. maddeler (logit değeri -.09) dir. Maddelerin iç ve dış uyumları incelendiğinde, tüm maddelere ilişkin bu değerlerin kabul edilebilir sınırlar (0.5, 1.6) içinde yer aldığı görülmektedir. Maddelere ait ayırma indeksi 2.95, güvenirlik katsayısı .90 olarak bulunmuştur. Bu bilgiler dışında, maddelerin güçlük düzeylerine göre sıralaması incelendiğinde, ilk iki maddenin öğrencilere en kolay, en son maddenin en zor geldiği ve diğer maddelerin güçlük düz