|
Derginin Adı:
|
Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi
|
|
Cilt:
|
2015/6
|
|
Sayı:
|
1
|
|
Makale Başlık:
|
Puanlayıcı Niteliklerinin Kesme Puanlarının Belirlenmesine Etkisinin Genellenebilirlik Kuramı’yla İncelenmesi
|
|
Makale Alternatif Dilde Başlık:
|
Investigation the Effects of the Raters’ Qualifications on Determining Cutoff Scores with Generalizability Theory
|
|
Makale Eklenme Tarihi:
|
30.01.2016
|
|
Okunma Sayısı:
|
1
|
|
Makale Özeti:
|
Standart belirleme süreçlerinde en önemli unsur, kesme puanları hakkında yargıda bulunan puanlayıcı
grubudur. Puanlayıcı yargılarının tutarlı olması, belirlenecek kesme puanı veya puanlarının güvenirliğini
doğrudan etkileyecektir. Bu çalışmada, okul öğretmenleri ve alan uzmanları olmak üzere farklı nitelikteki iki
puanlayıcı grubunun standart belirleme sürecindeki performansları Genellenebilirlik Kuramı çerçevesinde
karşılaştırılmış; böylece puanlayıcı niteliklerinin kesme puanları üzerindeki etkisinin ortaya konulması
amaçlanmıştır. Çalışmada test merkezli standart belirleme yöntemlerinden 1-0 ve Nedelsky yöntemleri ele
alınmış ve elde edilen veriler tek ve iki değişkenlik kaynaklı tümüyle çaprazlanmış desenler ile analiz
edilmiştir. Elde edilen bulgularda ,her iki standart belirleme yönteminde uzman grubunun öğretmen grubuna
göre belirgin olmamakla beraber daha tutarlı yargılar verdiği görülmüş; bu bulgular hesaplanan G ve Phi
katsayılarıyla da desteklenmiştir.
|
|
Alternatif Dilde Özet:
|
Rater group, who give judgments about cutting scores, is the most important factor of the standard setting
procedures. Reliability of the cutoff score(s), will be directly affected by the consistency of the raters’
judgments. In this study, performance of school teachers and domain experts were compared within the scope
of the Generalizability Theory during the standard setting procedure. With this comparison, it was aimed to
demonstrate the effect of rater qualifications on cutoff scores. 1-0 and Nedelsky methods which are two of the
student centered standard setting methods were adopted in this study. The data that had been collected from
raters was analyzed with single and multiple facet crossed designs. According to results of the analyses that
were conducted under different designs, it was seen that domain experts gave more consistent judgments
compared to school teachers; but this distinction was not so notable. More detailed findings such as G and Phi
coefficients of decision studies were also covered in the subsequent sections.
|