Kako izračunati dogovora med ocenjevalci

Sporazummed ocenjevalci jemerilo, kako so skladne meritve med dvema ali več opazovalcev (ali " ocenjevalcev ") . Na primer , medicinski raziskovalci pogosto uporabljajo skupine zdravnikov za opazovanje in kategorizacijo učinke poskusu zdravljenja. Merjenje skladnosti med opazovalci, je pomembno, ker želimo biti prepričani, da so vsi učinki, ki jih vidimo ob našem poskusu in ne do velikih razlik med opazovalci. Primarna statistični merimo dogovor med ocenjevalci se imenuje " kapa . " Navodila

1

Izračun odstotkov sporazum tako, da se število opazovanj , da se strinjajo glede na skupno število opazovanj . Razmislite primer poskusa , ki vključuje 100 bolnikov, ki sozdravila za astmo . Dve zdravniki so pozvane, da kategorizacijo bolnikov v dve kategoriji: nadzorovanih ( Da) ali ne nadzorom ( ne) simptomov astme . Rezultate lahko videti takole :

obeh ocenjevalcev Da 70

Obe ocenjevalcev Ne 15.

ocenjevalci # 1 Yes /ocenjevalci # 2 No 10

ocenjevalci # 1 Ne /ocenjevalci # 2 Da 5

Skupaj opažanja : 100

v tem primeru bi sporazumodstotkov (Pa ), ještevilo opazovanj v katerem so ocenjevalci strinjajo, ( 70 +15 ), deljeno s skupnim opazovanj ( 100 ) ali 85 odstotkov . Ta se bo uporabljal v števcu, v končni enačbi .
2

Izračunajte pričakovani dogovor zaradi Naključje . Nekatere od opazovanega sporazuma bo zaradi čiste sreče . Lahko izračunamo, kako bi lahko še veliko dogovor videti , če bi bile ugotovitve povsem naključno

V našem primeru : .

Oba Da 70

Oboje št 15

# 1Yes /# 2 No 10

# 1 Ne /# 2 Da 5

Skupaj opažanja : 100

dr # 1 ocenjeno Da 80/100 ali 80 odstotkov časa ( 0,80 ).

Dr # 1 ocenjeno 20/100 ali 20 odstotkov časa ( 0,20 ).

Dr # 2 ocenjeno Da 75/100 ali 75 odstotkov časa ( 0,75 ).

Dr # 2 ocenjeno 25/100 ali 25 odstotkov časa ( 0,25 ) .

Če so bile pripombe, naključno, biverjetnost obeh strank Da je ( 0,80 ) x ( 0,75 ) , oziroma 60 odstotkov , inverjetnost obeh strank št bi ( 0,15 ) x ( 0,25 ), ali za 4 odstotke

tako biskupna verjetnost dogovora zaradi naključja (PE ) jevsota teh. : ( 0,60 ) + ( 0,04 ) , oziroma 64 odstotkov . Ta se bo uporabljal v števcu in imenovalcu končne enačbe
3

Izračunaj kapa s pomočjo naslednje enačbe : .

K = (Pa ) - (Pe )

---------------

1 - (Pe )

V našem primeru

k = ( 0,85 ) - ( 0,64 ) /1 - ( 0,64 ) = ( 0,58 ) ali 58 odstotkov
4

Ocenite kapa, da ugotovi, ali je dogovor med ocenjevalci močna. Dobro pravilo palca je, da so kappas nad 80 odstotkov odlično in nad 60 odstotkov so dobri . Karkoli manj kot 60 odstotkov , se šteje manj kot optimalno sporazuma .

V našem primeru 58 odstotkov , je na meji dobrega med ocenjevalci zanesljivosti in rezultati študije je treba razlagati ob upoštevanju tega .

5

Ocenite Kappa za več kot dve ocenjevalcev s pomočjo izračunov kapa Fleiss ' . To jeveliko bolj zapleten izračun , da bi bilo treba storiti z računalnikom.