jpeyre / unrel

Creat de Julia Peyre la INRIA, Paris.

Introducere

Acesta este codul pentru hartie:

Julia Peyre, Ivan Laptev, Cordelia Schmid, Josef Sivic, Invatare slab supravegheata a relatiilor vizuale, ICCV17.

Pagina web a acestui proiect este disponibila aici, cu un link catre setul de date pe hartie si UnRel.

Licenta

Codul si setul de date sunt disponibile in scopuri de cercetare. Verificati fisierul LICENTA pentru detalii.

Cita

Daca vi se pare util acest cod in cercetarea dvs., va rugam sa luati in considerare citarea lucrarii noastre:

@InProceedings {Peyre17, author = “Peyre, Julia and Laptev, Ivan and Schmid, Cordelia and Sivic, Josef”, title = “Invatare slab supravegheata a relatiilor vizuale”, booktitle = “ICCV”, year = “2017”}

Lucrari conexe

Daca sunteti interesat sa aflati mai multe despre optimizarea cu clustering discriminativ, verificati:

Antoine Miech, Jean-Baptiste Alayrac, Piotr Bojanowski, Ivan Laptev, Josef Sivic, Learning from video and text via large-scale discriminative clustering, ICCV17 (hartie, cod)

Cuprins

1. Dependente
2. Date
3. Demo
4. Se ruleaza pe imagini noi

Dependente

Pentru a rula acest cod, trebuie sa instalati:

1. MOSEK: versiunea 7
2. CVX: versiunea 2.1
3. VLFEAT: versiunea 0.9.20

Odata instalat, configurati caile in fisierul de pornire:

Date

Pentru a utiliza acest cod cu setul de date Detectie relatii vizuale si UnRel, urmati pasii urmatori pentru a obtine datele.

1. Descarcati datele preprocesate

Acest depozit contine folderele pentru seturile de date. Structura folderelor este urmatoarea:

Dosarul candidati / poate contine diferite tipuri de candidati:

• adnotate : perechi de candidati care corespund adnotarilor pozitive ale adevarului de baza
• candidati : candidati perechi de casute obtinute cu cautare selectiva
• gt-candidates : candidati perechi de cutii construite din toate casetele de obiecte fundamentale (dar nu neaparat adnotate)
• Lu-candidati : candidati perechi de cutii furnizate de [Lu16]
• candidati densecap : regiuni candidate obtinute cu metoda DenseCap [Johnson16]

Caracteristicile folderului contin doar caracteristicile de aspect pre-procesate pentru obiecte (date de un detector de obiecte si dupa aplicarea PCA). Acum, trebuie sa calculam caracteristicile spatiale pentru perechile de cutii.

1. Extrageti caracteristicile spatiale

   Pentru a calcula caracteristicile spatiale, rulati:

Acest pas va pre-calcula caracteristicile spatiale pentru toti candidatii perechi de casete din fiecare imagine.

Demo

Acum puteti rula scriptul nostru demonstrativ pentru a instrui si / sau evalua:

Puteti modifica optiunile de antrenament / evaluare modificand optiunile de obiect. Consultati config.m pentru a vedea diferitele optiuni disponibile pentru instruire si evaluare. De asemenea, oferim scripturi in experimente de dosare / pentru a reproduce rezultatele in lucrarea noastra.

Veti avea nevoie de aproximativ 10G de memorie pentru a re-instrui modelul nostru slab supravegheat pe setul de date de relatii vizuale.

Se ruleaza pe imagini noi

Poate doriti sa testati modelul nostru pe imagini noi. Pentru aceasta, urmati acesti pasi:

1. Obtineti perechi de casete candidate pentru noile imagini (puteti utiliza diferite metode de propunere, de exemplu, cautare selectiva)
2. Rulati detectorul nostru de obiecte Fast-RCNN pre-antrenat pe Caffe pentru a obtine scoruri de obiecte si a extrage caracteristicile de aspect
3. Aplicati PCA pentru reducerea dimensiunii caracteristicilor de aspect
4. Rulati compute_spatial_features.m pentru a calcula caracteristicile spatiale cuantificate

Puteti contacta primul autor pentru mai multe informatii cu privire la pasii de pre-procesare a imaginilor noi.