SigParser foloseste ML.NET pentru a detecta e-mailurile „neumane” | .NET

SigParser este un API si un serviciu care automatizeaza procesul obositor (si adesea costisitor) de adaugare si mentinere a sistemelor de gestionare a relatiei cu clientii (CRM). SigParser extrage informatii de contact, cum ar fi nume, adrese de e-mail si numere de telefon, din semnaturi de e-mail si alimenteaza toate acele informatii ca contacte in sistemele CRM sau in bazele de date.

Problema de afaceri

Cand SigParser proceseaza e-mail-urile pentru o companie, multe dintre e-mail-uri nu sunt umane (de exemplu, buletine informative, notificari de plata, resetari ale parolelor etc.). Informatiile expeditorului din aceste tipuri de e-mailuri nu trebuie sa apara in listele de contacte sau sa fie introduse intr-un sistem CRM. Astfel, SigParser a decis sa foloseasca invatarea automata pentru a prezice daca mesajele de posta electronica au un aspect „spam”.

Luati, de exemplu, urmatorul e-mail de notificare dintr-un forum. Expeditorul acestui e-mail nu este un contact care ar trebui sa apara intr-un CRM, asa ca un model de invatare automata prezice ca „isSpammyLookingEmailMessage” este adevarat:

De ce ML.NET?

Cand echipa de la SigParser a decis sa utilizeze Machine Learning, au incercat initial sa foloseasca R; cu toate acestea, au gasit ca este foarte dificil sa se intretina si sa se integreze cu API-ul lor, care este construit cu .NET Core.

Paul Mendoza, CEO si fondator al SigParser, a spus ca R “a fost prea deconectat de la procesul de dezvoltare. Cu R am generat toate constantele si apoi le-am copia si lipi in .NET si apoi am incercat modelul in mod real si Aflati ca nu a functionat prea bine si trebuie sa repetati. A fost prea lent. “

Astfel, au apelat la ML.NET pentru a aduce totul intr-o singura aplicatie.

„Cu ML.NET, putem instrui modelul si apoi il testam imediat in interiorul codului nostru. Acest lucru face ca expedierea de noi modificari sa fie mai rapida, deoarece toate instrumentele erau impreuna intr-un singur loc.

Impactul ML.NET

Impactul trecerii la ML.NET de la R a fost o imbunatatire a productivitatii de 10 ori. In plus, pana cand SigParser s-a mutat in R, au folosit un singur model de invatare automata. De la conversia la ML.NET, au acum 6 modele de invatare automata pentru diferite aspecte ale analizei e-mailurilor. Aceasta crestere a avut loc, deoarece acum este posibil ca ML.NET sa experimenteze rapid cu noi idei de invatare automata si sa arate rapid rezultatele in aplicatie.

Arhitectura solutiei

Procesarea datelor

SigParser a folosit mai intai binecunoscutul set de date Enron pentru a-si instrui modelul, dar cand si-au dat seama ca este destul de depasit, au ajuns sa eticheteze cateva mii de e-mailuri in propriile conturi de e-mail (respectand GDPR) ca fiind fie umane sau non-uman si a folosit acest lucru ca set de date de antrenament.

Caracteristici de invatare automata

Modelul ML.NET al SigParser are doua caracteristici (utilizate pentru a face predictia „IsHumanE-mail”):

• HasUnsubscribes – Adevarat daca un e-mail are „dezabonare” sau „renuntare” in corpul e-mailului
• EmailBodyCleaned – Normalizeaza corpul de e-mail HTML pentru a face limba de e-mail agnostica si pentru a elimina orice informatie de identificare personala

Algoritm de invatare automata

Aceste doua caracteristici sunt introduse intr-un algoritm Binary FastTree, care este un algoritm pentru scenarii de clasificare, iar rezultatul este predictia daca e-mailul a fost trimis de la un „om real” sau de la o sursa automata. In prezent, SigParser proceseaza milioane de e-mailuri pe luna cu acest model ML.NET.

var mlContext = MLContext nou (); var (trainData, testData) = mlContext.BinaryClassification.TrainTestSplit (mlContext.CreateStreamingDataView (totalSampleSet), testFraction: 0.2); var pipeline = mlContext.Transforms.Text.FeaturizeText (“EmailBodyCleaned”, “EmailHTMLFeaturized”) .Append (mlContext.Transforms.Concatenate (“Features”, “HasUnsubscribes”, “EmailHTMLFeaturized”)) .Append (mlContext.BinaryClassification.Train. FastTree (labelColumn: “IsHumanEmail”, featureColumn: “Caracteristici”)); Console.WriteLine („Fitting data”); var fitResult = pipeline.Fit (trainData); Console.WriteLine („Evaluarea valorilor”); var metrics = mlContext.BinaryClassification.Evaluate (fitResult.Transform (testData), eticheta: “IsHumanEmail”); Console.WriteLine („

SigParser foloseste transformarile de date si algoritmii ML.NET pentru mai multe solutii de invatare automata, inclusiv modelul de detectare a spamului mentionat mai sus, care le-a permis sa exporte automat informatiile de contact corecte in bazele de date ale clientilor din semnaturile de e-mail, ocolind nevoia de consum de timp. si introducerea manuala a datelor de contact predispuse la erori.