Dupa finalizarea antrenamentului pentru model, Amazon Fraud Detector valideaza performanta modelului folosind 15% din datele dvs. care nu au fost utilizate pentru instruirea modelului. Va puteti astepta ca modelul dvs. instruit de Amazon Fraud Detector sa aiba performante reale de detectare a fraudei, care sunt similare cu valorile performantelor de validare.

Ca afacere, trebuie sa echilibrati intre detectarea mai multor fraude si adaugarea mai multa frecare clientilor legitimi. Pentru a ajuta la alegerea echilibrului potrivit, Amazon Fraud Detector ofera urmatoarele instrumente pentru a evalua performanta modelului:

Pentru a utiliza valorile performantei modelului

  1. Incepeti cu graficul de distributie Scor pentru a revizui distributia scorurilor model pentru frauda si evenimentele legitime. In mod ideal, veti avea o separare clara intre fraude si evenimente legitime. Acest lucru indica faptul ca modelul poate identifica cu exactitate ce evenimente sunt frauduloase si care sunt legitime. Selectati un prag de model facand clic pe zona graficului. Puteti vedea modul in care ajustarea pragului de scor al modelului va afecteaza ratele adevarate pozitive si fals pozitive.

    Graficul de distributie a scorurilor prezinta frauda si evenimentele legitime pe doua axe Y diferite. Axa Y stanga reprezinta evenimentele legitime, iar axa Y dreapta reprezinta evenimentele de frauda.

  2. Examinati matricea Confusion . In functie de pragul de scor al modelului selectat, puteti vedea impactul simulat pe baza unui esantion de 100.000 de evenimente. Distribuirea fraudei si a evenimentelor legitime simuleaza rata fraudelor in afacerile dvs. Folositi aceste informatii pentru a gasi echilibrul corect intre rata adevarata pozitiva si rata fals pozitiva.

  3. Pentru detalii suplimentare, alegeti Valori avansate . Utilizati graficul ROC pentru a intelege relatia dintre rata pozitiva adevarata si rata fals pozitiva pentru orice prag de scor de model. Curba ROC va poate ajuta sa reglati bine compromisul intre rata adevarata pozitiva si rata fals pozitiva.

    De asemenea, puteti revizui valorile sub forma de tabel alegand Tabel .

    Vizualizarea in tabel arata, de asemenea, precizia metrica . Precizia este procentul de evenimente de frauda corect prezise ca fiind frauduloase in comparatie cu toate evenimentele prezise ca fiind frauduloase.

  4. Utilizati valorile de performanta pentru a determina pragurile de model optime pentru afacerile dvs. pe baza obiectivelor si a cazului de utilizare pentru detectarea fraudei. De exemplu, daca intentionati sa utilizati modelul pentru a clasifica inregistrarile de conturi noi cu risc ridicat, mediu sau scazut, trebuie sa identificati doua scoruri de prag, astfel incat sa puteti redacta trei conditii de regula dupa cum urmeaza:

    • Scorurile> X prezinta un risc ridicat

    • Scorurile <X dar> Y sunt cu risc mediu

    • Scorurile <Y sunt cu risc scazut