Când evaluarea inter pares, de exemplu, evaluarea competitivității produselor, este necesar, ca în orice activitate științifică, să se efectueze prelucrarea datelor statistice. Acesta din urmă începe cu determinarea consistenței opiniilor experților, a căror expresie numerică este coeficientul de concordanță.
De ce avem nevoie de o evaluare de consens de experți?
Această evaluare este necesară, în primul rând, deoarece opiniile experților pot diferi foarte mult cu privire la parametrii estimați. Inițial, evaluarea se realizează prin ierarhizarea indicatorilor și atribuirea unui anumit coeficient de semnificație (pondere). O clasare inconsecventă are ca rezultat faptul că acești coeficienți sunt nesiguri din punct de vedere statistic. Opiniile experților cu numărul necesar (mai mult de 7-10) ar trebui distribuite conform legii normale.
Conceptul de coeficient de concordanță
Deci. Consecvența este concordanță. Coeficientul este o mărime adimensională care arată raportul dintre dispersie și dispersia maximă în cazul general. Să generalizăm aceste concepte.
Coeficientul de concordanță este un număr de la 0 la 1, care arată consistența opiniilor experților atunci cândclasarea unor proprietăți. Cu cât această valoare este mai aproape de 0, cu atât consistența este considerată mai mică. Dacă valoarea acestui coeficient este mai mică de 0,3, opiniile experților sunt considerate inconsecvente. Când valoarea coeficientului este în intervalul de la 0,3 la 0,7, consistența este considerată medie. O valoare mai mare de 0,7 este considerată o consistență ridicată.
Cazuri de utilizare
La efectuarea cercetărilor statistice pot apărea situații în care un obiect poate fi caracterizat nu prin două secvențe, care sunt prelucrate statistic folosind coeficientul de concordanță, ci prin mai multe secvențe, care sunt în consecință clasificate de experți cu același nivel de profesionalism într-un anumit domeniu.
Consecvența clasamentului efectuat de experți trebuie determinată pentru a confirma corectitudinea ipotezei conform căreia experții fac măsurători relativ precise, ceea ce permite formarea diferitelor grupări în grupuri de experți, care sunt în mare măsură determinate de factori umani, în primul rând, cum ar fi diferențele de opinii, concepte, diferite școli științifice, natura activității profesionale etc.
Scurtă descriere a metodei de clasare. Avantajele și dezavantajele sale
La clasare, se folosește metoda de clasare. Esența sa constă în faptul că fiecărei proprietăți a obiectului i se atribuie propriul rang specific. Mai mult, fiecărui expert inclus în grupul de experți i se atribuie acest rangindependent, rezultând necesitatea prelucrării acestor date pentru a identifica coerența opiniilor experților. Acest proces se realizează prin calcularea coeficientului de concordanță.
Principalul avantaj al metodei de clasare este ușurința sa de implementare.
Principalele dezavantaje ale metodei sunt:
- un număr mic de obiecte de clasare, deoarece atunci când numărul lor depășește 15-20, devine dificil să se atribuie scoruri obiective de clasare;
- Pe baza utilizării acestei metode, întrebarea cu privire la cât de departe sunt de importanță obiectele studiate una de alta rămâne deschisă.
La utilizarea acestei metode, trebuie luat în considerare faptul că evaluările se bazează pe un fel de model probabilistic, deci trebuie aplicate cu prudență, având în vedere domeniul de aplicare.
Coeficientul de rang de concordanță al lui Kendall
Folosit pentru a determina relația dintre trăsăturile cantitative și calitative care caracterizează obiecte omogene și clasate după același principiu.
Acest coeficient este determinat de formula:
t=2S/(n(n-1)), unde
S - suma diferențelor dintre numărul de secvențe și numărul de inversiuni pe a doua caracteristică;
n - numărul de observații.
Algoritm de calcul:
- Valorile x sunt clasate în ordine crescătoare sau descrescătoare.
- Valorile y sunt aranjate în ordinea în care corespund valorilor x.
- Pentru fiecare rang succesiv al lui y, determinați câte valori de rang mai în alte îl urmează. Se adună și se calculează măsura corespondenței secvențelor de ranguri în x și y.
- În mod similar, se calculează numărul de ranguri ale lui y cu valori mai mici, care, de asemenea, se adună.
- Adăugați numărul de ranguri cu valori mai mari și numărul de ranguri cu valori mai mici, rezultând valoarea S.
Acest coeficient arată relația dintre două variabile și, în cele mai multe cazuri, este numit coeficient de corelație a rangului Kendall. O astfel de dependență poate fi reprezentată grafic.
Determinarea coeficientului
Cum se face? Dacă numărul de caracteristici sau factori clasificați depășește 2, se folosește coeficientul de concordanță, care, în esență, este o variantă multiplă a corelației de rang.
Fii atent. Calculul coeficientului de concordanță se bazează pe raportul dintre abaterea sumei pătratelor rangurilor de la suma medie a pătratelor rangurilor, înmulțită cu 12, la pătratul experților, înmulțită cu diferența dintre cubul numărului de obiecte și numărul de obiecte.
Algoritm de calcul
Pentru a înțelege de unde provine numărul 12 în numărătorul formulei de calcul, să ne uităm la algoritmul de determinare.
Pentru fiecare linie cu rangurile unui anumit expert, se calculează suma rangurilor, care este o valoare aleatorie.
Coeficientul de concordanță este, în general, definit ca raportul dintre estimarea varianței (D) și valoarea maximă a estimării varianței(Dmax). Să formulăm succesiv definițiile acestor cantități.
unde ravg - estimarea așteptărilor;
m - numărul de obiecte.
Înlocuind formulele rezultate în raport cu D cu Dmax obținem formula finală pentru coeficientul de concordanță:
Aici m este numărul de experți, n este numărul de obiecte.
Prima formulă este utilizată pentru a determina factorul de concordanță dacă nu există ranguri înrudite. A doua formulă este utilizată dacă există ranguri înrudite.
Deci, calculul coeficientului de concordanță sa încheiat. Ce urmeaza? Valoarea obținută este evaluată pentru semnificație folosind coeficientul Pearson prin înmulțirea acestui coeficient cu numărul de experți și cu numărul de grade de libertate (m-1). Criteriul rezultat este comparat cu valoarea tabelului, iar dacă valoarea primului o depășește pe ultimul, se vorbește despre semnificația coeficientului studiat.
În cazul rangurilor înrudite, calculul criteriului Pearson devine ceva mai complicat și se realizează prin următorul raport: (12S)/(d(m2+ m)-(1/(m-1))x(Ts1 +Ts2 +Tsn)
Exemplu
Să presupunem că metoda expertă evaluează competitivitatea untului vândut într-o rețea de vânzare cu amănuntul. Să dăm un exemplu de calcul al coeficientului de concordanță. Înainte de a evalua competitivitatea, este necesar să se clasifice consumatorulproprietățile acestui produs care sunt implicate în evaluare. Să presupunem că aceste proprietăți vor fi următoarele: gust și miros, consistență și aspect, culoare, ambalare și etichetare, conținut de grăsime, denumire comercială, producător, preț.
Să presupunem că grupul de experți este format din 7 experți. Figura arată rezultatele clasării acestor proprietăți.
Valoarea medie a lui r este calculată ca medie aritmetică și va fi 31,5. Pentru a găsi S, însumați diferențele la pătrat dintre reste și media r, conform formulei de mai sus și stabiliți că valoarea lui S este 1718.
Calculați coeficientul de concordanță folosind formula fără a utiliza rangurile înrudite (clasurile ar fi legate dacă același expert consilier ar avea aceleași ranguri pentru proprietăți diferite).
Valoarea acestui coeficient va fi 0,83. Aceasta indică un consens puternic între experți.
Verificați-i semnificația utilizând testul Pearson:
7 x 0,83 x (8-1)=40,7.
Testul tabelar al lui Pearson la nivelul de semnificație de 1% este 18,5 și la 5% - 14,1..
Exemplul demonstrează simplitatea și accesibilitatea calculului pentru orice persoană care cunoaște elementele de bază ale calculelor matematice. Pentru a le alina,utilizați formulare de foi de calcul.
În concluzie
Astfel, coeficientul de concordanță arată consistența opiniilor mai multor experți. Cu cât este mai departe de 0 și mai aproape de 1, cu atât părerile sunt mai consistente. Acești coeficienți trebuie confirmați prin calcularea criteriului Pearson.
