De la date nestructurate la inteligenta actionabila: utilizarea invatarii automate pentru inteligenta amenintarilor – Microsoft Security

Comunitatea de securitate a devenit competenta in utilizarea indicatorilor de compromis (IoC) pentru informatiile de amenintare. Feed-urile automatizate au simplificat sarcina de extragere si partajare a IoC-urilor. Cu toate acestea, IoC-urile, cum ar fi adresele IP, numele de domenii si hashurile de fisiere, se afla la cele mai scazute niveluri ale piramidei de informatii despre amenintari; sunt relativ usor de accesat si consumat, dar sunt usor de schimbat si de atacatori pentru a evita detectia. IoC-urile nu sunt suficiente.

Tacticile, tehnicile si procedurile (TTP) pot permite organizatiilor sa extraga informatii valoroase, cum ar fi modele de atac asupra unei intreprinderi sau a unei industrii verticale, sau tendinte de tehnici de atacare in ecosistemul general. Cu toate acestea, TTP-urile se afla la cel mai inalt nivel al piramidei de informatii despre amenintari; aceste informatii vin adesea sub forma de texte nestructurate, cum ar fi bloguri, lucrari de cercetare si rapoarte de raspuns la incidente (IR), iar procesul de colectare si partajare a acestor indicatori de nivel inalt a ramas in mare parte manual.

Automatizarea procesarii textului nestructurat pentru informatii de amenintare poate beneficia atat de analistii de amenintari, cat si de clienti. La sesiunea mea Black Hat „Death to the IOC: What’s Next in Threat Intelligence“, am prezentat un sistem care automatizeaza acest proces folosind invatarea automata si procesarea limbajului natural (NLP) pentru a identifica si extrage modele la nivel inalt de atac din textul nestructurat.

Figura 1. Structura de baza a sistemului

Instruit in documentarea amenintarilor cunoscute, acest sistem preia textul nestructurat ca intrare si extrage actorii de amenintare, tehnicile de atac, familiile de malware si relatiile pentru a crea graficele si calendarele atacatorilor.

Extragerea datelor si invatarea automata

In procesarea limbajului natural, extragerea entitatii denumite este o sarcina care are ca scop clasificarea frazelor in categorii predefinite. Acesta este de obicei un pas de preprocesare pentru alte sarcini mai complexe, cum ar fi identificarea pseudonimelor, extractia relatiei dintre actori si TTP-uri, etc.

Pentru a ne antrena modelul, corpusul nostru a fost format din aproximativ 2.700 de documente disponibile public care descriu actiunile, comportamentele si instrumentele diferitilor actori de amenintare. In medie, fiecare document din acest corpus continea aproximativ doua mii de jetoane.

Figura 2. Distribuirea datelor de instruire

De asemenea, vedem ca distributia jetoanelor care se incadreaza intr-una din categoriile noastre predefinite este foarte mica. In medie, doar 1% din jetoane sunt entitati relevante. Acest lucru ne spune ca avem un dezechilibru de clasa in datele noastre.

Prin urmare, pe langa utilizarea caracteristicilor traditionale care sunt comune sarcinilor de procesare a limbajului natural (de exemplu, lema, parte a vorbirii, caracteristici ortografice), am experimentat folosirea incorporarilor de cuvinte personalizate, care permit identificarea relatiilor dintre doua cuvinte care inseamna acelasi lucru sau sunt folosite in contexte similare.

Incorporarile de cuvinte sunt reprezentari vectoriale ale cuvintelor, astfel incat contextul semantic in care apare un cuvant este capturat in vectorul numeric. Daca doua cuvinte inseamna acelasi lucru sau sunt utilizate in acelasi context frecvent, atunci ne-am astepta ca similitudinea cosinusului vectorilor lor de incorporare a cuvintelor sa fie ridicata. Cu alte cuvinte, intr-o reprezentare grafica, punctele de date pentru cuvintele care inseamna acelasi lucru sau sunt utilizate in acelasi context frecvent ar fi relativ apropiate.

De exemplu, ne-am uitat la cateva grupuri de puncte formate in jurul APT28 si am constatat ca cele patru puncte cele mai apropiate de acesta erau fie pseudonime (Sofacy, TG-4127) ale amenintarii, fie erau legate de atribuire (APT29, Dymalloy).

Figura 3. Vizualizarea in tensorboard a incorporarilor personalizate

Am experimentat mai multe modele care sunt potrivite pentru o problema de etichetare a secventei si am masurat performanta in doua moduri – pe setul de date de testare si numai pe jetoanele nevazute din setul de date de testare. Am constatat ca experimentele instruite folosind campuri aleatorii conditionate (CRF) instruite cu caracteristici traditionale si de incorporare a cuvintelor au cea mai buna performanta pentru ambele scenarii.

Figura 4. Arhitectura conductei de antrenament pentru sistemul extractor

Invatarea automata pentru o inteligenta inteligenta, actionabila

Folosind sistemul pe care l-am dezvoltat, am extras automat tehnicile cunoscute a fi utilizate de Emotet, o familie proeminenta de produse malware, precum si o raspandire de actori APT la care documentele publice se refera la Saffron Rose, Snake si Muddy Water si am generat urmatorul grafic, care arata ca exista o suprapunere semnificativa intre unele tehnici utilizate de malware-ul de marfa si cele utilizate de APT-uri.

Figura 5. Suprapuneri in tehnicile utilizate de malware si APT-uri de marfa

In acest grafic, putem vedea ca tehnici cum ar fi PowerShell ofuscat, spear-phishing-ul si golirea proceselor nu sunt limitate la APT-uri, ci sunt raspandite in malware-ul produselor. Perspectivele de acest gen pot fi utilizate de organizatii pentru a ghida investitiile in securitate. Organizatiile pot plasa puncte de sufocare defensiva pentru a detecta sau preveni aceste tehnici de atac, astfel incat sa poata opri nu numai malware-ul enervant de marfuri, ci si atacurile vizate de profil inalt.

La Microsoft, continuam sa depasim limitele cu privire la modul in care invatarea automata poate imbunatati pozitia de securitate a clientilor nostri. Rezultatul informatiilor de amenintare bazate pe invatarea automata se va arata in eficienta protectiei pe care o oferim prin Microsoft Defender Advanced Threat Protection (Microsoft Defender ATP) si mai larga Microsoft Threat Protection.

In ultimele luni, am discutat pe larg despre modul in care folosim invatarea automata pentru a inova in mod continuu protectii in Microsoft Defender ATP, in special in intarirea impotriva evaziunii si atacurilor contradictorii. In acest blog am aratat o alta aplicatie de invatare automata: prelucrarea cantitatilor vaste de informatii despre amenintari pe care organizatiile le primesc si identificarea tiparelor la nivel inalt. Mai important, impartasim abordarile noastre, astfel incat organizatiile sa poata fi inspirate sa exploreze mai multe aplicatii de invatare automata pentru a imbunatati securitatea generala.

Bhavna Soman (@ bsoman3)

Microsoft Defender ATP Research

Vorbeste cu noi

Intrebari, ingrijorari sau informatii despre aceasta poveste? Alaturati-va discutiilor la comunitatea Microsoft Defender ATP.

Cititi toate postarile de pe blogul de informatii de securitate Microsoft.

Urmariti-ne pe Twitter @MsftSecIntel .