In aceasta prima lectie, dr. Paulo Pereira introduce cateva dintre conceptele de baza ale validarii metodei care se aplica la evaluarea unei metode calitative.
Validarea de baza a testelor calitative
Paulo Pereira, doctor
noiembrie 2016
Introducere
Validarea testelor calitative difera in principal de testele cantitative, deoarece nu exista rezultate numerice, ci rezultate binare, de exemplu, rezultat pozitiv / negativ. Imediat aceste teste sunt recunoscute in laboratoarele medicale conform acestei denumiri. Cu toate acestea, acestea ar putea fi legate de cantitati nominale sau cantitati ordinale [1]. Cantitatile ordinale sunt legate de rezultatul testului calitativ „pur”, unde este cunoscuta doar o afectiune binara. Cantitatile nominale sunt legate de rezultatele binare care rezulta din compararea rezultatelor unei cantitati numerice pe o scara ordinala luand in considerare un anumit punct de decizie sau „cutoff”. Uneori, in terminologia laboratoarelor medicale, testele nominale sunt denumite calitative – de exemplu, aglutinare / pozitiv / fara aglutinare / negativ intr-un diapozitiv, numarul de incrucisari ale unui anumit reactiv observat – si teste ordinale ca semicantitative – de exemplu, rezultat pozitiv avand in vedere ca 4.12 este egal sau mai mare decat „cutoff” = 1,00. Conceptele de validare din acest eseu trateaza doar rezultatul binar final care poate fi aplicat oricarui test calitativ. Cazurile din aceasta lectie folosesc rezultate virologice. Cu toate acestea, conceptele pot fi aplicate oricarui alt test calitativ.
Scop
Definitiile de verificare si validare sunt uneori confuze in practica. ISO defineste verificarea drept „confirmarea, prin furnizarea de dovezi obiective, care au fost indeplinite cerintele specificate” (3.8.12 din [2]). Validarea este definita drept „confirmarea, prin furnizarea de dovezi obiective, ca cerintele pentru o utilizare sau o cerere specifica au fost indeplinite” (3.8.13 din [2]). Spre deosebire de explicatia verificarii, validarea este direct legata de cerintele partilor interesate, cum ar fi exactitatea deciziei clinice cerute de pacienti. Rezultatele binare eronate, adica rezultatele false, afecteaza in mod direct decizia clinica. Prin urmare, obiectivul calitativ de validare a testului este de a confirma, pe baza datelor, ca cerintele pentru utilizarea acestora au fost indeplinite.
Apropierea
Reverendul Thomas Bayes (1702-1761) a dezvoltat un model probabilistic pentru a defini probabilitatea ca un element sa fie membru al unei clase specifice. Din punct de vedere calitativ al testului, elementul este rezultatul binar, iar clasa este boala sau grupul nedisimulat de subiecti. Deci, modelul determina probabilitatea ca un pacient sau o persoana sanatoasa sa fie intr-adevar clasificata ca fiind infectata sau neinfectata. Aceasta clasificare este denumita sensibilitate diagnostica Se [%] atunci cand „procentul (fractia numarului inmultit cu 100) de subiecti cu conditia tinta (determinata de criteriile de precizie de diagnostic) ale caror valori de test sunt pozitive”,
Comparatia metodelor poate fi determinata in primul rand atunci cand comparatorul este criteriul de precizie al diagnosticului sau poate fi determinat secundar atunci cand comparatorul este altul decat criteriile de precizie de diagnostic. Proiectul principal este un model de precizie diagnostica menit sa masoare „masura de acord intre informatiile din testul supus evaluarii si criteriile de precizie de diagnostic” (5.3 din [3]). Zona aflata sub curba caracteristicii de functionare a receptorului (ROC) este o alta masuratoare de precizie diagnostica, complementara sensibilitatii si specificitatii [4].
Prelevarea de probe
Probele de pacient pentru aceasta validare trebuie prelevate de la populatia tinta. O proba reprezentativa a persoanelor infectate poate fi dificil de obtinut pentru un test calitativ de virologie. Sursele de incertitudine in testele de chimie sunt legate in principal de faza pre [5] si faza analitica, de variatia intra si interindividuala si de efectele bolilor [6], medicamentelor [7] si ierburilor si produselor naturale [8]. Cu toate acestea, in testele de virologie, mai multe variatii de surse suplimentare pot afecta acuratetea rezultatelor, cum ar fi tipurile si subtipurile de agent, mutatiile [9] si perioada seronegativa a ferestrei [10]. Uneori, obtinerea unui esantionare „completa” necesita utilizarea panourilor comerciale. Retineti ca esantionarea individuala infectata trebuie sa aiba doar probe diagnosticatepersoane fizice. Daca singurele probe disponibile provin din esantioane de pacient cu rezultat cunoscut dintr-un alt test de screening, acesta foloseste modelul secundar.
Probele de la persoane neinfectate sunt mult mai usor de obtinut. Cu toate acestea, ar trebui sa existe dovezi ca persoanele sunt sanatoase / neinfectate. Donatorii periodici de sange sunt un exemplu de populatie sugerata. In acest esantionare, populatia tinta este setul de indivizi sanatosi generici.
Numarul de esantioane este o limitare la puterea statistica a studiului. Cat mai multe esantioane ar trebui sa fie utilizate, asa cum este practic. Daca numarul de esantioane nu afecteaza in mod direct procentul fix, influenta acestuia este critica pentru intervalul de incredere de 95% (IC 95%). Laboratorul ar trebui sa inteleaga aceasta limitare la definirea specificatiilor. De exemplu, intervalul de incredere al sensibilitatii la n = 5, nu poate fi mai mic de 56,6 pana la 100%. Acest exemplu arata, de asemenea, limita n a acestui esantionare la intervalul de incredere – puterea statistica a estimarii este slaba.
Durata
CLSI EP12-A2 sugereaza ca studiul sa fie realizat pe parcursul a 10 pana la 20 de zile [3]. Laboratorul poate alege o perioada mai scurta. Cu toate acestea, conditiile de reproductibilitate ale studiului ar trebui sa fie asigurate la estimari fiabile.
Metodele
1. Cand comparatorul este criteriile de precizie de diagnosticare.
Exista software statistic comercial disponibil pentru a sustine acest studiu. Cu toate acestea, determinarea poate fi efectuata cu usurinta intr-o foaie de calcul. Tabelul de lucru din aceasta metoda este un tabel de contingenta 2×2 in care rezultatele pozitive si negative ale testului candidat sunt masurate „impotriva” criteriilor de precizie diagnostica. Tabelul 1 prezinta un tabel de contingenta 2×2 si ecuatiile pentru a determina sensibilitatea si specificitatea diagnosticului. Se pot efectua masuratori complementare, dar importanta lor pentru validare este mica. De exemplu, eficienta rezultatelor testului E [%] (4 din [11]), care arata procentul rezultatelor adevarate si prevalenta rezultatelor pozitive si negative (5.3 din [3]). Din punctul de vedere al laboratorului, sensibilitatea si specificitatea sunt determinarile critice. Din perspectiva medicului, masuratorile de baza sunt valorile de predictie, deoarece acestea descriu probabilitatea unui rezultat de a diagnostica cu exactitate un subiect. S-ar putea determina valoarea predictiva pozitiva (procentuala) PPV [%] si valoarea predictiva negativa (procentuala) VNV [%] (5.3 din [3]) (a se vedea tabelul 1).
Inferenta rezultatelor pentru intervalul de incredere de 95% poate fi calculata cu usurinta intr-o foaie de calcul. Vezi Tabelul 1 pentru ecuatii la sensibilitatea si specificitatea limita mica (LL) si limita ridicata (HL). Laboratorul ar trebui sa inteleaga ca aceasta inferenta este limitata de caracteristicile esantioanelor. In consecinta, daca precizia diagnosticului de esantionare este partinitoare, intervalul de incredere este de asemenea.
Studiu de caz 1:
Sa presupunem ca numarul persoanelor infectate este de 24 si numarul de subiecti sanatosi este de 96. Numarul de rezultate pozitive adevarate este de 24, iar numarul de rezultate negative adevarate este de 94. In consecinta:
Se [%] = 24 / (24 + 0) x100 = 100%; 95% CI:
A1 = 2×24 + 1,962 = 51,8;
A2 = 1,96 (1,962 + 4 x24x0 / (24 + 0)) 1/2 = 3,8 si;
A3 = 2 (24 + 0 + 1,962) = 55,7;
Vinde – ti [%] = (51.8-3.8) /55.7×100=86%;
Sehl [%] = (51.8 + 3.8) /55.7×100=100%.
In consecinta, True Positive se afla in intervalul [86%, 100%]
Sp [%] = 94 / (94 + 2) x100 = 98,1%; 95% CI:
B1 = 2×94 + 1,962 = 191,8;
B2 = 1,96 (1,962 + 4 x94x2 / (94 + 2)) 1/2 = 6,7 si;
B3 = 2 (94 + 2 + 1,962) = 199,7;
SpLL [%] = (191.8-6.7) /199.7×100=93%;
Sphl [%] = (191,8 + 6,7) /199.7×100=99%.
Prin urmare, True Negative se afla in intervalul [93%, 99%]
Obiectivele: Se [%] = 100%, True Positive ar trebui sa se incadreze in [75%, 100%] si; Sp [%] = 95%, Negativul adevarat ar trebui sa se incadreze in [75%, 90%]
In acest exemplu, testul candidat poate fi acceptat, deoarece toate specificatiile sunt indeplinite. Retineti ca obiectivele specificate ar trebui sa ia in considerare utilizarea intentionata a rezultatelor. De exemplu, intr-o banca de sange, sensibilitatea este masurarea critica, deoarece afecteaza direct sansa unui receptor de sange de a primi o componenta de sange falsa negativa. In laboratorul medical, aceasta specificatie nu este atat de critica, deoarece nu exista un subiect secundar (i) secundari.
Beneficiile acestei abordari:
- Mai usor de pus in aplicare in laboratorul medical, deoarece diagnosticul este cunoscut
- Estimarea exactitatii diagnosticului: sensibilitate si specificitate diagnostica
- 95% masurare CI
Contra acestei abordari:
- Un numar mare de esantioane este necesar pentru o putere statistica robusta
- Perioada seronegativa a ferestrei este o componenta a riscului rezidual
- De cele mai multe ori sunt necesare panouri comerciale
- Ar putea fi scump in comparatie cu concordanta modelului de rezultate
- Fara materiale de urmarit
TP: adevarate rezultate pozitive; TN: rezultate adevarate negative; FP: rezultate fals pozitive; FN: rezultate negative negative; n: numarul total de esantioane
Se [%] = TP / (TP + FN) x100;
Vinde – ti [%] = (A1-A2) / A3x100; Sehl [%] = (A1 + A2) / A3x100; A1 = 2xTP + 1,962; A2 = 1,96 (1,962 + 4 xTPxFN / (TP + FN)) 1/2; A3 = 2 (TP + FN + 1,962)
Sp [%] = TN / (TN + FP) x100;
SpLL [%] = (B1-B2) / B3x100; Sphl [%] = (B1 + B2) / B3x100; A1 = 2xTN + 1,962; A2 = 1,96 (1,962 + 4 xTNxFP / (TN + FP)) 1/2; A3 = 2 (TN + FP + 1.962)
E [%] = TP + TN / n x100; PPV [%] = TP / (TP + FP) x100; NPV [%] = TN / (TN + FN) x100
2. Cand comparatorul este altul decat criteriile de precizie de diagnostic
Aceasta abordare alternativa trebuie utilizata numai atunci cand nu sunt disponibile probe de la subiecti diagnosticati sau sanatosi. Rezultatele testului comparator ar trebui sa aiba o precizie de diagnostic care sa corespunda specificatiilor laboratorului medical. Masurarea depinde direct de aceste rezultate. De exemplu, daca comparatorul are o performanta mai slaba decat noul test, validarea ar putea fi interpretata gresit. Toate rezultatele discrepante trebuie evaluate cu ajutorul unei scheme de confirmare.
Concordanta si dezacordul sunt inlocuite cu termenii adevarat si fals pozitiv si, respectiv, negativ. In consecinta, sensibilitatea si specificitatea diagnosticului sunt inlocuite cu PC-ul de concordanta pozitiva [%] si respectiv cu concordanta negativa [%]. PC [%] este procentul (fractia numarului inmultit cu 100) de rezultate pozitive ale caror valori ale testului comparator sunt pozitive. NC [%] este procentul (fractia numarului inmultit cu 100) de rezultate negative ale caror valori ale testului comparator sunt negative. Concordanta generala OC [%] este complementara acestor masuratori si a corelat concordanta rezultatelor cu numarul total de rezultate. Vezi Tabelul 2 pentru ecuatii matematice. Pentru calcularea CI 95% ecuatiile sunt analoge calculelor din tabelul 1.
Studiu de caz 2:
Sa presupunem ca numarul de rezultate pozitive intr-un test comparativ este de 32 si numarul de subiecti sanatosi este de 94. Toate rezultatele sunt concordante. In consecinta:
PC [%] = 32 / (30 + 2) x100 = 100%; 95% CI:
C1 = 2×32 + 1,962 = 67,8;
C2 = 1,96 (1,962 + 4 x32x0 / (32 + 0)) 1/2 = 3,8 si;
C3 = 2 (32 + 0 + 1,962) = 71,7;
Vinde – ti [%] = (67.8-3.8) /71.7×100=89%;
Sehl [%] = (67.8-3.8) /71.7×100=100%.
In consecinta, a este in intervalul [80%, 98%]
NC [%] = 94 / (94 + 0) x100 = 100%; 95% CI:
D1 = 2×94 + 1,962 = 191,8;
D2 = 1,96 (1,962 + 4 x94x0 / (94 + 0)) 1/2 = 3,8 si;
D3 = 2 (94 + 0 + 1,962) = 195,7;
SpLL [%] = (191.8-3.8) /195.7×100=96%;
Sphl [%] = (191,8 + 3.8) /195.7×100=100%.
Prin urmare, d este in intervalul [96%, 100%]
Obiectivele: PC [%] = 100%, a ar trebui sa se incadreze in [75%, 100%]; NC [%] = 95%, d ar trebui sa se incadreze in [75%, 90%]
Pentru acest exemplu, testul candidat este acceptabil, deoarece sunt respectate specificatiile pentru concordanta pozitiva si negativa. Retineti ca, in acest caz, trebuie utilizate doar esantioane cu rezultate confirmate. In caz contrar, concordanta ar putea fi partinitoare in mod semnificativ.
Beneficiile acestei abordari:
- Utilizarea unui test vechi ca test comparativ
- Perioada seronegativa a ferestrei este o componenta a riscului rezidual
- Nu este nevoie de panouri comerciale
- Ar putea fi ieftin in comparatie cu modelul de precizie de diagnostic
- 95% masurare CI
Contra acestei abordari:
- Mai greu de implementat in laboratorul medical, deoarece diagnosticul nu este cunoscut
- Nu exista criterii de precizie diagnostice: sensibilitatea si specificitatea diagnosticului nu pot fi estimate
- Un numar mare de esantioane este necesar pentru o putere statistica semnificativa
- Fara materiale de urmarit
a: concordanta cu rezultate pozitive; b: dezacord privind rezultatele negative; c: dezacord privind rezultatele pozitive; d: concordanta cu rezultate negative; n: numarul total de esantioane
PC [%] = a / (a + c) x100; NC [%] = d / (d + b) x100; OC [%] = (a + d) / NX100
Concluzie
Validarea testelor cantitative ar trebui sa inteleaga in mod clar laboratorul pentru a identifica ceea ce este masurat si ce nu. Unele surse de eroare nu pot fi combinate la estimarea finala datorita limitarilor studiului – de exemplu, lipsa unui panou comercial cu subtipuri rare, esantionarea nereprezentanta a populatiei. Cu toate acestea, perioada seronegativa a ferestrei este o slabiciune sistematica in aceasta validare. Determinarea perioadei ferestrei ar trebui sa fie complementara acestui studiu si este sursa principala a riscului rezidual de falsuri negative. Retineti ca perioada ferestrei este perioada seronegativa pentru un anumit individ, si nu perioada ferestrei unei populatii.
porno zoofili http://banmentholcigarettes.com/__media__/js/netsoltrademark.php?d=adult66.net/
porno francais http://bertisdowns.net/__media__/js/netsoltrademark.php?d=adult66.net/
porno marure http://promontorygolf.net/__media__/js/netsoltrademark.php?d=adult66.net/
filme porno fete frumoase http://compropesos.com/__media__/js/netsoltrademark.php?d=adult66.net/filme-porno/xnxx
filme porno senzual jane http://niagarafallsfamilyvacation.com/__media__/js/netsoltrademark.php?d=adult66.net/filme-porno/xvideos
porno disney http://pen-island.com/__media__/js/netsoltrademark.php?d=adult66.net/filme-porno/amatori
filme porno cu andra maruta http://targetingdatasuites.com/__media__/js/netsoltrademark.php?d=adult66.net/filme-porno/anal
porno brother sister http://zoomsumer.com/__media__/js/netsoltrademark.php?d=adult66.net/filme-porno/asiatice
student porno http://adultvideo.pro/__media__/js/netsoltrademark.php?d=adult66.net/filme-porno/beeg
filme porno cu instalatori http://altasrelocation.com/__media__/js/netsoltrademark.php?d=adult66.net/filme-porno/blonde
porno cu pepite http://vom-media.com/__media__/js/netsoltrademark.php?d=adult66.net/filme-porno/brazzers
filme porno mea melone http://sun-kenya.com/__media__/js/netsoltrademark.php?d=adult66.net/bunaciune-excitata-maxim-si-fututa-in-toate-pozitiile
sex porno anime http://fordedealer.net/__media__/js/netsoltrademark.php?d=adult66.net/pustoaica-blonda-satisfacuta-de-prietenul-ei-prin-sex-oral
big ass porno hairy http://gourmetpastacheese.com/__media__/js/netsoltrademark.php?d=adult66.net/minora-cu-un-fund-super-sexy-penetrata-salbatic-de-un-negru
filme porno cu femei http://knbcweatherplus.com/__media__/js/netsoltrademark.php?d=adult66.net/show-erotic-la-web-cu-o-studenta-care-se-masturbeaza-in-camera-de-camin
porno cartoon teen http://smsinavi.net/__media__/js/netsoltrademark.php?d=adult66.net/sex-in-trei-la-scoala-cu-doua-eleve-bune-filmate-de-un-coleg
porno sex mam son retro http://wonderfulcitrus.net/__media__/js/netsoltrademark.php?d=adult66.net/nevasta-disperata-fututa-in-lipsa-sotului-de-un-vecin
filme porno la dus http://chicagonorthwest.info/__media__/js/netsoltrademark.php?d=adult66.net/super-partida-de-sex-intre-o-blonda-o-asiatica-si-un-negru
hotel porno http://arquivonet.com/__media__/js/netsoltrademark.php?d=adult66.net/studenta-goala-face-show-erotic-la-un-party-dupa-care-e-fututa-de-colegi
porno animat http://flex-tower.com/__media__/js/netsoltrademark.php?d=adult66.net/o-eleva-incredibil-de-sexy-fututa-de-doi-colegi-dupa-scoala
Pentru o aplicare a principiilor acestui eseu la ecranizarea POCT vezi [12].
Referinte
- Bureau International des Poids et Mesures (2012). JCGM 200: 2012 Vocabularul international al metrologiei – Conceptele de baza si generale si termeni asociati, versiunea 2008 cu mici corectii. A 3-a ed. Sevres: BIPM. Preluat de la: http://www.BIPM.org/utils/common/documents/jcgm/JCGM_200_2012.pdf. Accesat: 11 noiembrie 2016.
- Organizatia Internationala pentru Standardizare (2015). ISO 9000 Sisteme de management al calitatii – Bazele si vocabularul. A 3-a ed. Geneva: ISO.
- Institutul de standarde clinice si de laborator (2008). Protocolul utilizator EP12-A2 pentru evaluarea performantei testelor calitative. A 2-a ed. Wayne (PA): CLSI.
- Pereira P, Westgard JO, Encarnacao P, Seghatchian G (2015). Evaluarea incertitudinii de masurare in testele imunologice de screening in unitatile sanguine: Calcularea modelelor de precizie de diagnostic. Transfus Apher Sci 52 (1): 35-41.
- Young D (2007). Efectele variabilelor preanalitice asupra testelor clinice de laborator. A 3-a ed. Washington (DC): AACC Press.
- Young D (2001). Efectele bolii asupra testelor clinice de laborator. Volumele 1 si 2. a 4-a editie. Washington (DC): AACC Press.
- Young D (2000). Efectele medicamentelor asupra testelor clinice de laborator. Volumele 1 si 2. a 5-a ed. Washington (DC): AACC Press.
- Narayanan S, Young D (2007). Efectele ierburilor si produselor naturale asupra testelor clinice de laborator. Washington (DC): AACC Press.
- Muller B, Nubling C, Kress J, Roth W, De Zolt S, PichlL (2013). Cat de sigur este sigur: noi variante de virus de imunodeficienta umana de tip 1 ratate de testarea acidului nucleic. Transfuzie 53 (10): 2422-2430.
- Pereira P, Westgard JO, Encarnacao P, Seghatchian G (2014). Model analitic pentru calcularea intervalului indeterminat al rezultatelor testelor de screening, efectul asupra perioadei ferestrei seroconversiei: O scurta evaluare a impactului rezultatelor incerte asupra bugetului de stabilire a sangelui. Transfus Apher Sci 51 (2): 126-131.
- Institutul de standarde clinice si de laborator (2002). EP12-A Protocol de utilizator pentru evaluarea performantei testelor calitative. Wayne (PA): CLSI.
- Pereira P. Evaluarea performantei testului de diagnostic rapid. In carte: Saxena SK (editor). Dovada si concepte in teste si tehnologii de diagnostic rapid. Rijeka: InTech.
