|
Derginin Adı:
|
Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi
|
|
Cilt:
|
2015/6
|
|
Sayı:
|
2
|
|
Makale Başlık:
|
İçerik Ağırlıklandırmasının Maddeler-Arası Boyutluluk Modeline Dayalı Çok Boyutlu Bilgisayar Ortamında Bireyselleştirilmiş Test Yöntemleri Üzerindeki Etkisinin İncelenmesi
|
|
Makale Alternatif Dilde Başlık:
|
Examining the Effect of Content Balancing on Multidimensional Computerized Adaptive Testing Based on Between-Item Dimensionality Model
|
|
Makale Eklenme Tarihi:
|
28.01.2016
|
|
Okunma Sayısı:
|
4
|
|
Makale Özeti:
|
Bu çalışmanın amacı, maddeler-arası boyutluluk modeline dayalı Çok Boyutlu Bilgisayar Ortamında Bireyselleştirilmiş (BOB) Test Yöntemlerinin performanslarının karşılaştırılması ve içerik ağırlıklandırmasının (content balancing) çok boyutlu BOB testi yöntemleri üzerindeki etkisinin incelenmesidir. Bu amaç doğrultusunda, 2009-2013 eğitim ve öğretim yıllarında Hacettepe Üniversitesi tarafından uygulanan İngilizce Yeterlik Sınavına (İYS) ait gerçek veri seti kullanılmıştır. Her bir testte yer alan dinleme, dilbilgisi ve okuduğunu anlamaya ilişkin maddeler ile üç boyutlu gerçek madde havuzu oluşturulmuştur. Maddeler-arası boyutluluk modeli ile kalibre edilerek oluşturulan madde havuzu toplamda 555 maddeden oluşmaktadır. En uygun çok boyutlu BOB testini belirlemek amacıyla; iki farklı yetenek kestirim yöntemi (Bayesyen MAP ve Fisher’in puanlama yöntemi), üç farklı madde seçim yöntemi (A-optimality, D-optimality ve seçkisiz) ve hata varyansı durdurma kuralına dayalı üç farklı ölçüt kullanılmıştır. Ayrıca içerik ağırlıklandırmasının çok boyutlu BOB testi yöntemleri üzerindeki etkisini incelemek amacıyla, içerik ağırlıklandırmasının yapıldığı ve içerik ağırlıklandırmasının yapılmadığı koşullara ilişkin bulgular karşılaştırılmıştır. Her bir koşula ilişkin çok boyutlu BOB testi bulguları, boyutlara ilişkin güvenirlik katsayıları, ölçmenin standart hatası ve RMSD değerlerine bakılarak karşılaştırılmıştır. Analiz sonuçlarına göre, A-Optimality madde seçim yöntemi kullanıldığında, hem Bayesyen MAP hem de Fisher’in Puanlama yöntemlerinin benzer sonuçlar verdiği bulgusuna ulaşılmıştır. Buna karşın, Fisher’in puanlama yönteminin hem madde seçim yöntemlerinden hem de içerik ağırlıklandırmasından etkilendiği söylenebilir. Ayrıca içerik ağırlıklandırması uygulandığında her bir koşul için testteki ortalama madde sayısı artarken, güvenirlik katsayılarının azaldığı, buna karşın RMSD ve standart hataların azaldığı bulgusuna ulaşılmıştır.
|
|
Alternatif Dilde Özet:
|
The purpose of this study is to compare the performance of Between-item dimensionality-based Multidimensional CAT designs and to examine the effect of content balancing on different MCAT designs. For this purpose, real data set obtained from English Proficiency Test (EPT), which was administered by Hacettepe University between 2009 and 2013 academic years, was used. The three dimensional item pool consisted of real items measuring students’ listening, grammar and reading abilities. Item pool consisted of 555 items which was calibrated with 2PL between-item MIRT model. In this study, two different theta estimation (Fisher scoring and Bayesian MAP) methods, three different fisher information based item selection methods (A-optimality, D-optimality and Random) and three different precision based termination methods were used in order to determine the best MCAT design. In addition, results of MCAT algorithms with content distribution and without content distribution were compared so as to examine the effect of content balancing in the context of MCAT. The results of each MCAT condition were compared with respect to, reliability index, SEM, RMSD values associated with each dimension. According to results, both Bayesian MAP and Fisher’s scoring methods yielded similar results when A-Optimality item selection method was used. However, Fisher’s scoring method appeared to be affected from item selection methods and content balancing. Moreover, average number of items tended to increase and reliability coefficients tended to decrease somewhat, while standard error and RMSD values tended to decrease when content balancing was applied in MCAT.
|