Sunday Morning Insight: mai repede decat o clipa a ochiului

Acest articol descrie o diafragma codificata si o abordare a expunerii in cheie pentru masurarea video compresiva, care admite o platforma fizica mica, eficienta fotonica ridicata, rezolutie temporala ridicata si algoritmi de reconstructie rapida. Proiectiile propuse satisfac proprietatea de izometrie restransa si, prin urmare, teoria senzorului comprimat ofera garantii teoretice privind calitatea reconstructiei video. Mai mult, proiectiile pot fi implementate cu usurinta folosind elemente optice existente, cum ar fi modulatoarele de lumina spatiala (SLM). Extindem aceste modele de masti codificate la noi masti de scara duala (DSM) care permit recuperarea unei estimari cu rezolutie grosiera a scenei cu costuri de calcul neglijabile. Dezvoltam algoritmi numerici rapide care utilizeaza atat corelatii temporale cat si fluxul optic in secventa video, precum si structura inovatoare a proiectiilor. Experimentele noastre numerice demonstreaza eficacitatea abordarii propuse asupra datelor cu infrarosu cu unde scurte.

Notez urmatoarea rubrica:

In rezumat, vedem ca achizitiile CAKE pot depasi videoclipurile esantionate in mod traditional in termeni de acuratete de reconstructie si reconstructie a miscarilor primare. In medie, pentru a reconstrui cele 28 de cadre video, CAKE a durat 96 de minute, iar Masca cu scara dubla CAKE a luat 93 de minute , in timp ce CAKE cu flux optic a durat doar 31 de minute. Esantionarea splina conventionala a durat aproape 23 de secunde

Algoritmul competitiv local (LCA) [8] este un sistem in timp continuu al ecuatiilor diferentiale neliniare cuplate care se stabileste la minimizatorul de (1) in stare de echilibru [9]. Arhitectura LCA este formata din componente simple (operatii matricevector si o neliniara fara sens pentru pragare), ceea ce ii confera potentialul de a fi implementat intr-un circuit analog [10], [11]. Retelele analogice pentru rezolvarea problemelor de optimizare au o istorie lunga, care dateaza de la rezultatele pioniere ale lui Hop fi eld pentru programarea liniara [12] (un tratament cuprinzator al subiectului poate fi gasit in [13]). Astfel de sisteme analogice pot avea avantaje semnificative de viteza si putere fata de omologii lor digitali.

In inspiratia lor recenta, [30] a aratat ca o arhitectura de retea speciala poate fi derivata din algoritmii iterativi de contractie-limitare (ISTA) [17] si algoritmi de coborare a coordonatelor proximale (CoD) [19].

Apropierea rara este un program de optimizare care produce rezultate de ultima generatie in multe aplicatii in procesarea semnalului si inginerie. Pentru a implementa aceasta abordare in timp real, este necesar sa se dezvolte solutii mai rapide decat sunt disponibile in prezent in digital. Algoritmul competitiv local (LCA) este un sistem dinamic conceput pentru a rezolva clasa problemelor de aproximare rare in timp continuu. Dar inainte de a implementa aceasta retea in VLSI analogic, este esential sa oferiti garantii de performanta. Acest referat prezinta noi rezultate privind convergenta retelei neuronale LCA. Folosind metode dezvoltate recent, care utilizeaza inegalitatea ojojiewicz pentru functiile nemosine, demonstram ca traiectoriile de iesire si de stare converg catre un singur punct fix.

Rezumat – Lucrarea studiaza rata de convergenta a unui sistem dinamic in timp continuu pentru „1-minimizarea, cunoscut sub numele de algoritmul competitiv local (LCA). Rezolvarea `1-minimizarii problemelor in mod eficient si rapid este de mare interes pentru comunitatea de procesare a semnalului, deoarece aceste programe s-au dovedit a recupera solutii rare pentru sisteme nedeterminate de ecuatii liniare si vin cu garantii de performanta puternice. LCA in studiu difera de tipul „1-solver tipic prin faptul ca functioneaza in timp continuu: in loc sa fie specificat prin iteratii discrete, evolueaza conform unui sistem de ecuatii diferentiale obisnuite liniare. LCA este construit din componente simple, oferindu-i potentialul de a fi implementat ca un circuit analog la scara larga. Scopul acestei lucrari este de a oferi garantii cu privire la timpul de convergenta al sistemului LCA. Pentru a face acest lucru, analizam modul in care evolueaza LCA, deoarece recupereaza un semnal slab din masuratori nedeterminate. Aratam ca in conditii adecvate pe matricea de masurare si parametrii problemei, calea pe care o urmareste LCA poate fi descrisa ca o secventa de ecuatii diferentiale liniare, fiecare avand un numar mic de variabile active. Aceasta ne permite sa raportam timpul de convergenta al sistemului la constanta de izometrie restransa a matricei. Din acest studiu rezulta paralele interesante cu solutionatorii digitali cu recuperare redusa. Analiza noastra acopera atat setarile zgomotoase, cat si cele zgomotoase si este sustinuta de rezultate de simulare. S-a demonstrat ca parsimonia, inclusiv spatialitatea si rangul scazut, modeleaza cu succes datele in numeroase activitati de invatare si procesare a semnalului. Traditional, astfel de abordari de modelare se bazeaza pe un algoritm iterativ care minimizeaza o functie obiectiva cu termeni de promovare a parsimoniei. Structura secventiala inerenta, precum si complexitatea si latenta dependenta de date a optimizarii iterative constituie o limitare majora in multe aplicatii care necesita performanta in timp real sau implica date la scara larga. O alta limitare intalnita de aceste tehnici de modelare este dificultatea includerii lor in scenarii de invatare discriminative. In aceasta lucrare, ne propunem sa mutam accentul de la model la algoritmul de urmarire si sa dezvoltam o viziune centrata pe proces a modelarii parsimonioase, in care se foloseste un proces de urmarire determinista de complexitate fixa ​​in locul optimizarii iterative. Prezentam o modalitate principiala de a construi arhitecturi de proces de urmarire intelegatoare pentru modele structurate si robuste de rang scazut, derivate din iterarea algoritmilor de descendenta proximala. Aceste arhitecturi invata sa aproximeze exact reprezentarea parsimonios la o fractiune din complexitatea metodelor de optimizare standard. Aratam, de asemenea, ca regimurile de formare adecvate permit extinderea naturala a modelelor parsimonios la setari discriminatorii. Rezultatele de ultima generatie sunt demonstrate cu privire la mai multe probleme provocatoare in procesarea imaginilor si audio cu mai multe ordine de viteza de marime in comparatie cu algoritmii de optimizare exacti. Aceste arhitecturi invata sa aproximeze exact reprezentarea parsimonios la o fractiune din complexitatea metodelor de optimizare standard. Aratam, de asemenea, ca regimurile de formare adecvate permit extinderea naturala a modelelor parsimonios la setari discriminatorii. Rezultatele de ultima generatie sunt demonstrate cu privire la mai multe probleme provocatoare in procesarea imaginii si audio cu mai multe ordine de viteza de marime in comparatie cu algoritmii de optimizare exacti. Aceste arhitecturi invata sa aproximeze exact reprezentarea parsimonios la o fractiune din complexitatea metodelor de optimizare standard. Aratam, de asemenea, ca regimurile de formare adecvate permit extinderea naturala a modelelor parsimonios la setari discriminatorii. Rezultatele de ultima generatie sunt demonstrate cu privire la mai multe probleme provocatoare in procesarea imaginilor si audio cu mai multe ordine de viteza de marime in comparatie cu algoritmii de optimizare exacti.

Descriem o metoda pentru aproximarea rapida a codarii rare. Un vector de intrare dat este trecut printr-un arbore binar. Fiecare frunza de copac contine un subset de elemente de dictionar. Coeficientii corespunzatori acestor elemente din dictionar li se permite sa fie zero si valorile lor sunt calculate rapid prin inmultirea cu o pseudoinversa precomputata. Sunt invatati parametrii de arbore, dictionarul si subseturile din dictionar corespunzatoare fiecarei frunze. In procesul de descriere a acestui algoritm, discutam problema mai generala a invatarii grupurilor in modelare rar structurata in grup. Aratam ca metoda noastra creeaza reprezentari bune, folosind-o in cadrul de recunoastere a obiectelor din [1,2].

[7] Li Wan, Matthew Zeiler, Sixin Zhang, Yann LeCun si Rob Fergus: Regularizarea retelelor neuronale folosind DropConnect. DropConnect CUDA Codul si pagina este aici.

Prezentam DropConnect, o generalizare a Dropout (Hinton si colab., 2012), pentru regularizarea unor straturi mari complet conectate in cadrul retelelor neuronale. Cand se antreneaza cu Dropout, un subset de activari selectat aleatoriu este setat la zero in fiecare strat. In schimb, DropConnect stabileste la zero un subset de ponderi selectat aleatoriu. Fiecare unitate primeste astfel o intrare dintr-un subset aleator de unitati din stratul anterior. Derulam o legatura cu performanta generalizarii atat Dropout, cat si DropConnect. Apoi, evaluam DropConnect pe o serie de seturi de date, in comparatie cu Dropout si afisam rezultate de ultima generatie pe mai multe criterii de recunoastere a imaginii, prin agregarea mai multor modele instruite DropConnect.

Prezentam modelul auto-codificator de recurent discriminatoriu, care cuprinde un codificator recurent de unitati liniare redresate, desfasurate pentru un numar fix de iteratii si conectate la doua decodificatoare liniare care reconstruiesc intrarea si prezic clasificarea supravegheata. Instruirea prin backpropagation-by-time minimizeaza initial o eroare de reconstituire neagra; functia de pierdere este apoi marita cu un termen discriminatoriu in clasificarea supravegheata. Adancimea implicita in forma desfasurata temporal permite sistemului sa prezinte mult mai multa putere reprezentativa, pastrand in acelasi timp numarul de parametri trainabili. Dintr-o retea initial nestructurata, unitatile ascunse se diferentiaza in unitati categorice, fiecare reprezentand un prototip de intrare cu o clasa bine delimitata; si unitati partiale reprezentand deformari ale acestor prototipuri. Organizarea invatata a codificatorului recurent este ierarhica: unitatile parti sunt conduse direct de intrare, in timp ce activitatea unitatilor categorice se dezvolta in timp prin interactiuni cu partile. Chiar si folosind un numar mic de unitati ascunse pe strat, auto-codificatoare repetate discriminatorii obtin performante excelente pe MNIST.

[9] Rotislav Goroshin si Yann LeCun: Auto-Encodere de saturatie.

Vom introduce un nou regulator simplu pentru auto-codificatoare ale caror functii de activare a unitatii ascunse contin cel putin o regiune de gradient zero (saturata). Acest regulator incurajeaza in mod explicit activarile in regiunile saturate ale functiei de activare corespunzatoare. Numim aceste codificatoare automate de saturatie (SATAE). Aratam ca regulatorul de saturatie limiteaza explicit capacitatea SATAE de a reconstrui intrarile care nu sunt in apropierea colectorului de date. Mai mult, aratam ca se pot invata o mare varietate de functii atunci cand se utilizeaza diferite functii de activare. In cele din urma, conexiunile sunt stabilite cu codificatoarele Auto Contractive si Sparse.

[10] Retele de gradient intrinsec, Jason Tyler Rolfe

Retelele neuronale artificiale sunt puternice din punct de vedere computerizat si prezinta dinamici asemanatoare creierului. Din nefericire, algoritmii conventionali de invatare dependenti de gradient, utilizati pentru a-i instrui, sunt din punct de vedere biologic neplauzibili. Calculul gradientului intr-o retea neurala artificiala traditionala necesita o retea complementara de semnale de instruire rapida care depind, dar nu trebuie sa fie o activitate, reteaua principala generatoare de iesire. In schimb, reteaua de neuroni din cortex este foarte recurenta; o retea de neuroni care calculeaza gradient in creier ar proiecta inapoi si a influenta reteaua primara. Abordam aceasta implauzibilitate biologica prin introducerea unei noi clase de retele neuronale recurente, retele de gradient intrinseci, pentru care gradientul unei functii de eroare in raport cu parametrii este o functie simpla a starii de retea. Aceste retele pot fi antrenate folosind doar semnalele lor intrinseci, la fel ca reteaua de neuroni din creier.

Derivam o ecuatie simpla care caracterizeaza retelele de gradient intrinseci si construim un set larg de retele care satisfac aceasta ecuatie caracteristica. Setul rezultat de retele de gradient intrinseci include multe instante extrem de recurente pentru care gradientul poate fi calculat printr-o functie simpla, locala, pseudo-Hebbiana a starii retelei, rezolvand astfel o contradictie de lunga durata intre retelele neuronale artificiale si biologice. Demonstram ca aceste retele pot invata sa efectueze sarcini non-private precum recunoasterea scrisa de mana folosind doar semnalele lor intrinseci. In cele din urma, aratam ca o implementare corticala a unei retele de gradient intrinsec ar avea o serie de proprietati caracteristice de calcul, anatomice si electrofiziologice si revizuirea experimentala

dovezi care sugereaza manifestarea acestor proprietati in cortex.

Alatura-te subredditului CompressiveSensing sau comunitatii Google+ si posteaza-l acolo!

Ti-a placut aceasta intrare? abonati-va la feedul lui Nuit Blanche, exista mai multe de unde a venit asta. De asemenea, va puteti abona la Nuit Blanche prin e-mail, puteti explora Big Picture in Compresive Sensing sau Matrix Factorization Jungle si va puteti alatura conversatiilor despre senzori de compresie, factorizare avansata a factorilor de calibrare si calibrare pe Linkedin.