|
Derginin Adı:
|
Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi
|
|
Cilt:
|
2014/5
|
|
Sayı:
|
1
|
|
Makale Başlık:
|
Angoff, Yes/No ve Ebel Standart Belirleme Yöntemlerinin Karşılaştırılması
|
|
Makale Alternatif Dilde Başlık:
|
A Comparison of Angoff, Yes/No and Ebel Standard Setting Methods
|
|
Makale Eklenme Tarihi:
|
25.02.2015
|
|
Okunma Sayısı:
|
7
|
|
Makale Özeti:
|
Bu araştırmada Angoff, Yes/No ve Ebel standart belirleme yöntemleri ile elde edilen uzman kararları ve kesme puanları karşılaştırılmıştır. Araştırmanın verilerini, 20 maddelik bir başarı testinden alınan 489 öğrenci puanı ve 17 uzmanın bu başarı testindeki maddeler için üç farklı standart belirleme yöntemine göre vermiş oldukları kararlar oluşturmaktadır. Verilerin analizi uzmanlar arası uyum Angoff ve Ebel yöntemleri için Kendall’ın uyuşum katsayısı (W) ve Yes/No yöntemi için Cohen’in Kappa istatistiği ile; üç farklı standart belirleme yöntemine göre başarılı sayılan öğrenci yüzdeleri arasındaki farklılıklar bağımlı iki oran arasındaki farkın testi ile; üç yöntemden elde edilen kesme puanlarına göre öğrenci puanları başarılı-başarısız olmak üzere yapay ikili hâle getirilip aralarındaki uyuma Cohen’in Kappa istatistiği ile; üç yönteme ait kesme puanları arasındaki uyum ise Pearson Momentler Çarpımı Korelasyon Katsayısı ve bağımlı gruplar t testi ile test edilmiştir. Bu araştırma sonunda yöntemlerde uzmanlar arasında makul bir uyumun yakalanabildiği; üç farklı standart belirleme yöntemine göre başarılı sayılan öğrenci yüzdeleri arasında 0,01 hata düzeyinde manidar farklılık olduğu ve öğrencilerin başarılı-başarısız sayılma durumları bakımından uyum olduğu görülmüştür. Kesme puanları arasında Angoff-Yes/No yöntemleri arasında yüksek düzeyde, Angoff-Ebel yöntemleri arasında orta düzeyde bir ilişki olduğu ve Yes/No-Ebel yöntemleri arasında anlamlı bir ilişki olmadığı görülmüştür.
|
|
Alternatif Dilde Özet:
|
In this study, experts’ decisions and cut-off scores obtained from Angoff, Yes/No and Ebel standard setting methods have been compared. The research data consist of 489 student scores obtained from a achievement test of 20 items and 17 experts’ decisions, made according to three different standard setting methods for this achievement test. In the analysis of data, in order to set the compliance between experts, Kendall’s coefficient of concordance (W) for Angoff and Ebel methods, and Cohen’s Kappa statistics for Yes/No method have been calculated. Differences between the percentages of students, considered as successful according to three different standard setting methods, have been tested with the test of the difference between two correlated proportions. The students’ scores have been tailored to binary as successful-unsuccessful according to three methods; and the compliance between them has been examined with Cohen’s Kappa statistics. The compliance between the cutoff scores of three methods has been evaluated with Pearson Product-Moment Correlation Coefficient and the paired samples t test. At the end of this research, it is seen that the compliance of experts in the methods is at a reasonable level; there is significant difference on 0,01 error level among percentages of students considered as successful according to these three different standard setting methods and there is a compliance between students’ scores that have been tailored to binary as successful-unsuccessful according to three methods. It is concluded that there is a high relationship between Angoff and Yes/No methods; there is moderate relationship between Angoff and Ebel methods; there is no significant relationship between Yes/No and Ebel methods.
|