|
Derginin Adı:
|
Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi
|
|
Cilt:
|
2015/6
|
|
Sayı:
|
1
|
|
Makale Başlık:
|
Açık Uçlu Maddelerde Farklı Yaklaşımlarla Elde Edilen Puanlayıcılar Arası Güvenirliğin Değerlendirilmesi
|
|
Makale Alternatif Dilde Başlık:
|
The Evaluation of Rater Reliability of Open Ended Items Obtained from Different Approaches
|
|
Makale Eklenme Tarihi:
|
30.01.2016
|
|
Okunma Sayısı:
|
6
|
|
Makale Özeti:
|
Bu araştırmada puanlayıcılar arası güvenirliğin belirlenmesinde kullanılabilecek dört farklı yaklaşım üzerinde
durulmuştur: korelasyon, ortalamaların karşılaştırılması, uyuşma yüzdesi ve genellenebilirlik kuramı. Bu
bağlamda 43 öğrencinin on açık uçlu maddeye verdikleri cevapların iki puanlayıcı tarafından puanlanmasıyla
oluşturulan veri setine uygulanan yaklaşımlar ile elde edilen güvenirlik değerlerinin, değer aralıkları ve
hesaplanma farklılıklarından dolayı farklılaştığı görülmüştür. Çalışma kapsamında ele alınan yaklaşımlar ile
elde edilen güvenirlik kestirimlerindeki en yüksek değer 0,90 olarak genellenebilirlik kuramı ile elde
edilmiştir. Bu sonucun yanı sıra, hesaplanan basit korelasyonda yüksek düzeyde ve pozitif yönlü (0,74) bir
ilişki ortaya çıkmıştır. Puanlayıcılar arası uyuşma yüzdesiyle kestirilen tam uyum % 58,9 olarak belirlenmiştir.
Son olarak, maddeler ayrı ayrı incelendiğinde; puanlayıcıların ortalamaları arasında üç maddede anlamlı bir
farklılık çıkmakla beraber genel ortalamada anlamlı bir fark çıkmamıştır. Araştırma kapsamında ele alınan
yaklaşımlar içerisinde en karmaşık görünen genellenebilirlik kuramı olmasına rağmen, bu yöntemin pek çok
hata kaynağını aynı anda ele alabilme özelliği, diğer yöntemlere göre bir avantaj olarak düşünülebilir. Bu
sebeple, özellikle puanlayıcı güvenirliğinin belirlenmesinde kullanılması önerilebilir.
|
|
Alternatif Dilde Özet:
|
In this study, four approaches to the estimation of interrater reliability are studied: correlation, comparison of
means, percentage of agreement, and generalizability theory. For the data- composed of ratings for 43 students
on ten items by two raters- the reliability estimates varied because of the situation that the ranges of the
obtained values by used approaches and different calculation processes. The highest estimate was 0.90 which
is estimated by G theory. Besides this result, it was obtained that there was positive and high c orrelation
coefficient (0.74). The estimate of percentage of exact matches of agreement between the two raters was found
as 58.9 %. Finally, although there were no statistically differences between general mean of scores, there were
statistical differences among three of the items by means of rater scoring. Although G theory seems more
complex than the other methods illustrated in the study, it yields more information than the other methods
because of handling multiple sources of error at the same time. Therefore, it is proposed to be used when
estimating interrater reliability.
|