Ağırlıklı toplam, farklı değerlendiricilerin aynı kanıtı aynı biçimde yorumladığını göstermez.
Ölçeği kanıtla tanımlayın
Her ölçüt için puan çapalarını ve beklenen kanıtı önceden yazın. Kanıt yoksa sıfır yerine eksik veya değerlendirilemez kaydı kullanın.
Bağımsız örnekleme
Değerlendiricilere aynı anonim dosya paketini ve aynı revizyonu verin. Her biri puanı, dosya satırını ve yorumunu ortak görüşme öncesinde kaydetsin.
Farkları sınıflandırın
Puan farkını kriter, dayanak ve gerekçeyle inceleyin. Kapsam ayrılığı, farklı kanıt okuması ve hesap hatasını ayrı neden kodlarıyla kaydedin; uzlaşma öncesi özgün puanları koruyun.
| Kriter / paket revizyonu | Değerlendirici A | Dayanak | Değerlendirici B | Dayanak | Fark nedeni | Yeniden inceleme |
|---|---|---|---|---|---|---|
| Teknik kanıt | Bağımsız puan | Dosya ve bölüm | Bağımsız puan | Dosya ve bölüm | Kod ve açıklama | Sahip ve karar |
Uygun hücre, iki değerlendiricinin aynı pakette geçerli ve bağımsız puan verdiği kriterdir. Tam uyumu uygun hücrelere bölün; payda yoksa oranı N/A gösterin. Ortalama farkın yanında kriter bazındaki ayrışmayı da verin.
Eleyici kapılar ve sıralama
Zorunlu belge, kapsam veya yetki koşullarını ayrı geçti-kaldı kapıları olarak önceden tanımlayın. Kapı başarısızsa ağırlıklı toplamla telafi etmeyin.
Kalibrasyon örneklerini karar yetkisi olan ekip seçsin ve seçimden önce yöntemi tarihlasın. Gerçek aday puanlamasına geçiş koşulu ile çözümlenmemiş farkta izlenecek yolu kaydedin.
Eksik kanıtı puan gibi kullanmayın veya ağırlıkları sessizce yeniden dağıtmayın. Paket ya da ölçüt değişirse yeni sürümle ayrı kalibrasyon yapın.
