Dai, Jifeng, Haozhi Qi, Yuwen Xiong, Yi Li, Guodong Zhang, Han Hu si Yichen Wei. 2017. „Retele convolutionale deformabile”. arXiv [cs.CV]. arXiv. http://arxiv.org/abs/1703.06211

  • Aceasta lucrare introduce o noua forma de convolutie si grupare: convolutie deformabila si grupare RoI deformabila . Autorii sustin ca aceste module pot fi schimbate cu usurinta in retelele existente. Aceste module au un camp receptiv dinamic si usor de invatat .
  • Motivatie : Autorul sustine ca CNN-urile sunt inerent invariante pentru transformari mari si necunoscute si se bazeaza pe marirea datelor pentru a invata transformarea geometrica. In reteaua complet convolutionala (FCN), este in mod special de dorit sa puteti regla dinamic campul receptiv.

Retineti ca sageata din campul de compensare corespunde modului in care sunt deplasate patratele albastre in harta caracteristicilor de intrare

Din Fig. 5. Punctele rosii sunt locatii de esantionare (din decalajul invatat) ale unui filtru deformabil de convolutie. Patratele verzi sunt iesiri corespunzatoare. Filtrul pe obiectul mai mare are un camp receptiv mai mare.

  • Deformarea RoI pooling consta, de asemenea, din 2 parti: un strat RoI obisnuit de pooling si un alt strat complet conectat pentru a invata offset-ul.
  • In loc sa prezica offsetul brut (in pixeli), compensarile sunt normalizate (adica impartite) la latimea si inaltimea regiunii RoI, astfel incat este invarianta la dimensiunea RoI.
  • Exista o curioasa gama scalara curioasa care scaleaza in continuare offsetul normalizat. (?)
  • Sunt destul de impresionat si surprins ca compensarile nu trebuie regularizate in mod specific. (Poate ca normalizarea lotului intr-adevar rezolva totul, contrar http://nyus.joshuawise.com/batchnorm.pdf)
  • Sunt interesat de rezultatele pe care compensarile sunt pur si simplu determinate de o transformare afina a grilei obisnuite. Acest lucru ar trebui sa scada in mod semnificativ numarul de parametri, avand in acelasi timp o forma de „deformabilitate”. Poate ca exista deja cateva lucrari anterioare despre asta?
  • Este impresionant faptul ca implementarea pare a fi destul de eficienta!
  • Nu exista niciun experiment cu privire la efectul reducerii extinderii maririi datelor (in special a scarii) cu convolutie deformabila. Va fi si mai convingator daca exista.
  • Sunt curios cu privire la rezultatele aplicarii unor compensari deformabile la regruparea maxima regulata, pe care autorii nu le-au mentionat
  • Este minunat sa vezi mai multe cercetari fundamentale in convolutie, care este blocul de baza al invatarii profunde. Exemple recente includ convolutie grupata si convolutie separabila etc.
  • Ma intreb ce inseamna asta in ceea ce priveste interpretabilitatea modelului.
  • Experimentele sunt destul de bine realizate, dar unele dintre figuri nu sunt atat de auto-explicative (de exemplu, Fig. 5)

Spune-mi gandurile tale in comentariile de mai jos! Urmariti-ma pe Twitter daca doriti sa cititi mai multe din aceste note pe hartie.