A crede este a vedea: o cercetare perspicace lumineaza noul posibil in domeniul imaginilor naturale si sintetice – Microsoft Research

O pereche de hartii revolutionare in viziunea computerizata deschid noi perspective asupra posibilitatilor in taramurile de a crea imagini naturale cu aspect foarte real si de a sintetiza imagini faciale realiste, care pastreaza identitatea. In CVAE-GAN: Generarea de imagini cu granulatie fina prin formare asimetrica, prezentata in octombrie trecut la ICCV 2017 la Venetia, echipa de cercetatori de la Microsoft si de la Universitatea de Stiinta si Tehnologie din China a venit cu un model pentru generarea de imagini bazat pe un retea contradictorie generativa autoencoder variationala capabila sa sintetizeze imagini naturale in ceea ce este cunoscut sub numele de categorii cu granulatie fina. Categoriile cu granulatie fina ar include fete ale unor indivizi specifici, de exemplu, de celebritati sau obiecte din lumea reala, cum ar fi tipuri specifice de flori sau pasari.

Cercetatorii – Dong Chen, Fang Wen si Gang Hua de la Microsoft, Jianmin Bao, stagiar la Microsoft Research, impreuna cu Houqiang Li de la Universitatea de Stiinta si Tehnologie din China – au analizat cum sa construiasca mai bine modele generative eficiente de imagini naturale. cu o problema cheie in viziunea computerizata: cum se genereaza imagini foarte diverse si totusi realiste, variind un numar finit de parametri latenti, in legatura cu distributia naturala a oricarei imagini din lume. Provocarea consta in a veni cu un model generativ pentru a capta aceste date. Acestia au optat pentru o abordare care utilizeaza retele contradictorii generative combinate cu un auto-codificator variational pentru a veni cu cadrul lor de invatare. Abordarea modeleaza orice imagine ca o compozitie de eticheta si atribute latente intr-un model probabilistic. Prin modificarea etichetei categoriei cu granulatie fina (sa zicem, „oriol” sau „sturn” pentru anumite tipuri de pasari sau numele unor celebritati specifice) care ar fi introduse in modelul generativ, echipa a fost capabila sa sintetizeze imagini in categorii specifice folosind valori desenate aleatoriu cu privire la atributele latente. Abia recent, acest tip de invatare profunda face posibila modelarea distributiei de imagini a unor obiecte specifice in lume, permitandu-ne sa tragem din acel model pentru a sintetiza practic imaginea, a explicat Gang Hua, cercetator principal la Microsoft Research din Redmond , Washington. echipa a reusit sa sintetizeze imagini in categorii specifice folosind valori desenate aleatoriu cu privire la atributele latente. Abia recent, acest tip de invatare profunda face posibila modelarea distributiei de imagini a unor obiecte specifice in lume, permitandu-ne sa tragem din acel model pentru a sintetiza practic imaginea, a explicat Gang Hua, cercetator principal la Microsoft Research din Redmond , Washington. echipa a reusit sa sintetizeze imagini in categorii specifice folosind valori desenate aleatoriu cu privire la atributele latente. Abia recent, acest tip de invatare profunda face posibila modelarea distributiei de imagini a unor obiecte specifice in lume, permitandu-ne sa tragem din acel model pentru a sintetiza practic imaginea, a explicat Gang Hua, cercetator principal la Microsoft Research din Redmond , Washington.

„Abordarea noastra are doua aspecte noi”, a spus Hua. „In primul rand, am adoptat o pierdere de entropie incrucisata pentru reteaua discriminatoare si clasificatoare, dar am optat pentru un obiectiv de discrepanta medie pentru reteaua generativa.” Functia de pierdere asimetrica rezultata si efectul acesteia asupra aspectelor cadrului de invatare automata au fost incurajatoare. “Pierderea asimetrica face ca antrenamentul GAN ​​sa fie mai stabil”, a spus Hua. „Am proiectat o pierdere asimetrica pentru a aborda problema instabilitatii in formarea GAN-urilor vanilate, care abordeaza in mod specific dificultatile numerice atunci cand se potrivesc doua distributii care nu se suprapun.”

Cealalta inovatie a fost adoptarea unei retele de codificare care sa poata invata relatia dintre spatiul latent si sa utilizeze potrivirea caracteristicilor perechi pentru a pastra structura imaginilor sintetizate.

Experimentand cu imagini naturale – fotografii autentice de lucruri reale gasite in natura, cum ar fi fete, flori si pasari, cercetatorii au putut arata ca modelele lor de invatare automata ar putea sintetiza imagini recunoscute cu o varietate impresionanta in categorii foarte specifice. Aplicatiile potentiale acopera totul, de la pictura imaginii, la marirea datelor si modele mai bune de recunoastere faciala.

„Tehnologia noastra a abordat o provocare fundamentala in generarea imaginii, aceea a controlabilitatii factorilor de identitate. Aceasta ne permite sa generam imagini asa cum vrem sa arate. a spus Hua. ”

Fete de sintetizare

Cum luati puterea de a sintetiza imagini realiste cu flori sau pasari cu un pas mai departe? Te uiti la fete umane. Fetele umane, atunci cand sunt luate in contextul identitatii, se numara printre cele mai sofisticate imagini care pot fi surprinse in natura. In Toward Open-Set Identity Preserving Face Synthesis, prezentat luna aceasta la CVPR 2018 in Salt Lake City, cercetatorii au dezvoltat un cadru bazat pe GAN care poate dezlega identitatea si atributele fetelor, cu atribute care includ proprietati intrinseci precum formele nasurilor. si guri sau chiar varsta, precum si factori de mediu, cum ar fi iluminatul sau daca machiajul a fost aplicat pe fata. In timp ce procesele de sinteza a fetei care pastreaza identitatea anterioara s-au limitat in mare parte la sintetizarea fetelor cu identitati cunoscute care erau deja continute in setul de date de instruire, Cercetatorii au dezvoltat o metoda de realizare a sintezei fetei care pastreaza identitatea in domenii deschise – adica pentru o fata care a cazut in afara oricarui set de date de antrenament. Pentru a face acest lucru, au aterizat pe o metoda unica de utilizare a imaginilor de intrare ale unui subiect care ar produce un vector de identitate si l-au combinat cu orice alta imagine de fata de intrare (nu a aceleiasi persoane) pentru a extrage un vector de atribut, cum ar fi poza, emotie sau iluminare. Vectorul de identitate si vectorul de atribut sunt apoi recombinate pentru a sintetiza o noua fata pentru subiectul care contine atributul extras. In special, cadrul nu trebuie sa adune si sa clasifice in niciun fel atributele oricarei fete. Este instruit cu o functie de pierdere asimetrica pentru a pastra mai bine identitatea si a stabiliza aspectele de invatare automata. Impresionant,

„Ceea ce avem aici este tehnologia care poate sintetiza fetele pastrand in acelasi timp identitatea fetelor pe care le generam, intr-un mod controlabil.” – Gang Hua

Spune branza!

O aplicatie evidenta pentru consumator este exemplul clasic al provocarii fotografului de a face o fotografie de grup care include zeci de subiecti; obiectivul comun este imaginea ideala evaziva in care toti subiectii sunt capturati cu ochii deschisi si chiar zambind. „Cu tehnologia noastra, marele lucru este ca as putea reda literalmente o fata zambitoare pentru fiecare dintre participantii la filmare!” exclama Hua. Ceea ce face acest lucru complet diferit de simpla editare a imaginilor, spune Hua, este ca identitatea reala a fetei este pastrata. Cu alte cuvinte, desi este sintetizata imaginea unui participant zambitor – un „moment” care nu a avut loc de fapt in realitate, fata este in mod inconfundabil cea a individului; identitatea sa a fost pastrata in procesul de modificare a imaginii.

Hua vede multe aplicatii utile care vor aduce beneficii societatii si vede imbunatatiri constante in recunoasterea imaginilor, intelegerea videoclipurilor si chiar in arta.