Reinstruirea si actualizarea modelelor Azure Machine Learning cu Azure Data Factory

Inginer software Lynn Gasch, Azure Data Factory

Clientii care lucreaza cu modele de invatare automata Azure au folosit activitatea AzureMLBatchExecution incorporata cu conducte Azure Data Factory pentru a operationaliza modelele ML in productie si a inscrie noi date impotriva modelelor pre-instruite la scara. Dar, pe masura ce tendintele si variabilele care influenteaza parametrii modelului se schimba in timp, in mod ideal aceasta conducta ar trebui sa sprijine si recalificarea automata recurenta si actualizarile modelului cu cele mai recente date de instruire. Acum, Azure Data Factory va permite sa faceti exact acest lucru cu noua activitate lansata AzureMLUpdateResource .

Cu Azure ML, va configurati mai intai experimentele de notare si antrenament, apoi doua puncte finale separate ale serviciului web pentru fiecare experiment. Apoi, puteti utiliza activitatea AzureMLBatchExecution cu Data Factory pentru a face atat punctarea datelor primite in raport cu cel mai recent model gazduit de serviciul web de punctare, cat si recalificarea programata cu cele mai recente date de instruire. Punctul final al serviciului web de notare expune, de asemenea, o metoda de actualizare a resurselor care poate fi utilizata pentru actualizarea modelului utilizat de serviciul web de notare. Aici este noul AzureMLUpdateResourceactivitatea intra in imagine. Puteti utiliza aceasta activitate acum pentru a prelua modelul generat de activitatea de instruire si a-l furniza serviciului web de notare pentru a actualiza modelul pentru notare, intr-un program, totul automatizat cu conducta de fabrica de date existenta.

Configurarea punctelor finale ale experimentului

Mai jos este o prezentare generala a relatiei dintre antrenament si punctaje finale in Azure ML. Ambele provin dintr-un experiment in Azure ML Studio si ambele sunt disponibile ca servicii de executie in lot. Un serviciu web de instruire primeste date de instruire si produce modele (modele) instruite. Un serviciu web de notare primeste exemple de date fara eticheta si face predictii.

Pentru a crea scenariul de recalificare si actualizare, urmati acesti pasi generali:

• Creati experimentul in Azure ML Studio.
• Cand sunteti multumit de modelul dvs., utilizati Azure ML Studio pentru a publica servicii web atat pentru experimentul de formare, cat si pentru experimentul de notare.
• Punctul final al serviciului web de notare este utilizat pentru a face predictii despre noi exemple de date. Iesirea predictiei ar putea avea diferite forme, cum ar fi un fisier .csv sau randuri in bazele de date SQL Azure, in functie de configuratia experimentului.
• Serviciul web de instruire este utilizat pentru a genera modele noi, instruite din noi date de instruire. Rezultatul recalificarii este un fisier .ilearner in stocarea Blob Azure.

Pentru instructiuni detaliate despre crearea punctelor finale ale serviciului web pentru recalificare, consultati documentatia noastra.

Puteti vizualiza punctele finale ale serviciului Web in Azure Management Portal. Acestea vor fi mentionate in Servicii si activitati legate de ADF.

Reinstruirea si actualizarea unui model Azure ML utilizand ADF

Scenariul de recalificare si actualizare operationalizat din ADF consta din urmatoarele elemente:

• Unul sau mai multe servicii legate de stocare si seturi de date pentru datele de antrenament, potrivind tipul de stocare cu intrarea experimentului de antrenament. De exemplu, daca experimentul este configurat cu o intrare de serviciu web, atunci datele de instruire ar trebui sa provina din stocarea Azure Blob. Daca datele dvs. vor fi extrase din tabelul SQL Azure, experimentul ar trebui configurat cu un modul Reader. In scenariul dvs., datele de instruire ar putea fi produse de o activitate ADF, cum ar fi un proces Hadoop sau o activitate de copiere. Sau ar putea fi generat de un proces extern.
• Unul sau mai multe Servicii legate de stocare si Azure Blob Datasets pentru a primi fisierul (modelele) .ilearner nou instruit.
• AzureML Linked Service si AzureMLBatchExecution Activity pentru a apela punctul final al serviciului web de instruire. Seturile de date de formare vor fi intrarile, iar setul de date ilearner va fi rezultatul acestei activitati.
• AzureML Linked Service si AzureMLUpdateResource Activity pentru actualizarea punctului final al experimentului de notare. Un set de date ilearner va fi intrarea in aceasta activitate. Daca exista mai multe modele care trebuie actualizate, va exista o activitate pentru fiecare. Daca trebuie actualizate mai multe puncte finale, va exista un serviciu si o activitate conectate pentru fiecare.
• Serviciu si set de date legate de stocare pentru iesirea Activitatii. Apelul Azure ML Update Resource API nu genereaza nicio iesire, dar astazi, in ADF, este necesar un set de date de iesire pentru a conduce programarea Pipeline. 

Pentru mai multe detalii despre crearea seturilor de date si LinkedServices, consultati:

• Crearea seturilor de date din fabrica de date
• Activitati de miscare a datelor 
• Activitati de transformare in Azure Data Factory

Pentru instructiuni pas cu pas despre configurarea activitatilor de notare, recalificare si actualizare pentru model completate cu exemple JSON, consultati documentatia noastra de conducte predictive.

rezumat

In acest blog, am prezentat un scenariu end-to-end pentru recalificarea si actualizarea modelelor de servicii web Azure ML.

Echipele Data Factory si Azure ML ar dori sa auda de dvs. despre scenariile dvs. pentru operationalizarea Azure ML in ADF. In special, am dori sa adunam exemple de:

• Cum sunt produse datele de instruire si cum ar fi ingerate in conductele ADF
• Cum ar trebui evaluate modelele recalificate inainte de a fi introduse in productie
• Scenarii in care evaluarea modelului recalificat este sau nu necesara
• Scenarii in care alte gestionari ale punctelor finale Azure ML (crearea, stergerea) ar face parte dintr-o conducta operationala

Va rugam sa lasati comentarii sau sa postati pe forumul Data Factory.