Roei Herzig *, Moshiko Raboh *, Gal Chechik, Jonathan Berant, Amir Globerson
Introducere
Predictia graficului scenei este sarcina de a mapa o imagine intr-un set de casete de delimitare, impreuna cu categoriile si relatiile acestora (de exemplu, a se vedea [2, 3, 4, 5, 6]).
In lucrarea Scene Graphs with Permutation-Invariant Structured Prediction (2018) [1] prezentam o noua arhitectura pentru inferenta graficului care are urmatoarea proprietate structurala : pe de o parte, arhitectura este invarianta pentru permutari de intrare; pe de alta parte, fiecare functie de permutare-invariant poate fi implementata prin aceasta arhitectura.
In acest depozit, impartasim implementarea arhitecturii noastre pentru sarcina de predictie a graficului scenelor.
Implementarea modelului
Scene Graph Predictor (SGP) obtine ca intrare distributii de confidentialitate initiala pe entitate si relatie si le proceseaza pentru a obtine etichete noi. SGP satisface proprietatea de invarianta a permutarii graficului introdusa in lucrare. Modelul este implementat in TensorFlow. Pentru distributiile initiale de incredere pe entitate si relatie, reutilizam pur si simplu caracteristicile invatate de modelul de baza de la Zellers si colab. (2017). (depozit git https://github.com/rowanz/neural-motifs)
Arhitectura SGP
Implementarea SGP utilizeaza un RNN iterativ pentru procesarea predictiilor. Fiecare pas produce o predictie imbunatatita.
O reprezentare schematica a arhitecturii. Avand in vedere o imagine, un predictor de etichete produce predictii initiale. Apoi, modelul nostru SGP, calculeaza fiecare element intelept. Apoi, acestea sunt insumate pentru a crea vector, care este concatenat cu. Apoi, se aplica si o alta insumare creeaza reprezentarea graficului. In cele din urma, clasifica obiectele si clasifica relatia. Procesul SGP ar putea fi repetat iterativ (in lucrare il repetam de 3 ori).
Pentru mai multe informatii, va rugam sa va uitati la cod (fisier Module / Module.py) si la hartie.
Atentie cu arhitectura SGP
Arhitectura noastra SGP foloseste atentia la nivelul caracteristicilor pentru fiecare nod in timpul inferentei. Ponderam semnificatia fiecarei caracteristici pe nod, astfel incat reteaua sa poata alege ce caracteristici din nodurile adiacente contribuie cu cele mai multe informatii.
Un exemplu de atentie pe entitati si atentie globala asupra tuturor nodurilor. Dimensiunea si locatia obiectelor ofera un semnal cheie mecanismului de atentie. Modelul acorda o incredere mai mare pentru eticheta „cravata” atunci cand este detectata eticheta „camasa” (al treilea panou din stanga). In mod similar, modelul acorda o incredere mai mare etichetei „ochi” atunci cand este situata langa „par”.
maduras buenorras porns
cachondas españolas videos porno caseros en español
videos xxx gratis español incesto gratis
asiatica forzada porno muy duro
sexo videos gratis chochitos jovencitos
lesbianas reales incesto abuelas
videos ponos coños bonitos
pornoo follándosela
folladas peludas se folla a su madre
tetas saltarinas parejas pilladas follando
videos porno subtitulados videos ponos
videos porno xxx incesto porno gay primera vez
follando a mi hijastra tetas playa
porno estremo incesto subtitulado español
forzada por el culo porno gay en castellano
travesti paja madre española se folla a su hijo
maturehd tias buenas desnudas
tetas en publico sexo en la playa nudista
pilladas playa forzada por el culo
filme porno vechi videos porno online
Dependente
Pentru a incepe cu cadrul, instalati urmatoarele dependente:
- Python 2.7
- tensorflow-gpu 1.0.1
- matplotlib 2.0.2
- h5py 2.7.0
- numpy 1.12.1
- piyaml 3.12
Rulati „pip install -r requirements.txt” – pentru a instala toate cerintele.
Utilizare
- Rulati „descarcare python Run.py” pentru a descarca si extrage datele trenului, validarii si testarii. Datele contin deja rezultatul aplicarii detecorului de baza asupra datelor VisualGenome.
- Rulati “python Run.py eval gpi_linguistic_pretrained <gpu-number>” pentru a evalua modelul pre-instruit al celei mai bune variante a noastra, lingvistica cu atentie multipla. (reamintim @ 100 SG Clasificare).
- Rulati “python Run.py tren gpi_linguistic <gpu-number>” pentru a instrui un nou model (lingvistic cu atentie multi-cap).
- Rulati “python Run.py eval gpi_linguistic_best <gpu-number>” pentru a evalua noul model. (reamintesc @ 100 SG Clasificare).
Despre acest depozit
Acest depozit contine o implementare a celei mai bune variante (lingvistica cu atentie multipla) a modelului Scene Graph Prediction (SGP) introdus in lucrarea Scene Graphs with Permutation-Invariant Structured Prediction. (Repertoriul actualizat pentru versiunea 1 a lucrarii – rezultatele celei mai recente versiuni vor fi publicate × in viitor). Mai exact, depozitul permite sa ruleze scriptul de evaluare a clasificarii scenografice (recall @ 100) pe modelul nostru pre-antrenat sau, alternativ (1) sa instruiasca un model SGP (2) sa evalueze modelul instruit utilizand clasificarea scenografica (recall @ 100) script de evaluare.
Referinte
[1] Roei Herzig, Moshiko Raboh, Gal Chechik, Jonathan Berant, Amir Globerson, Mapping Images to Scene Graphs with Permutation-Invariant Structured Prediction, 2018.
[2] Justin Johnson, Ranjay Krishna, Michael Stark, Li Jia Li, David A. Shamma, Michael S. Bernstein, Fei Fei Li, Image Retrieval using Scene Graphs, CVPR, 2015.
[3] Cewu Lu, Ranjay Krishna, Michael S. Bernstein, Fei Fei Li, Detectia relatiei vizuale cu preotii de limba, ECCV, 2016.
[4] Xu, Danfei si Zhu, Yuke si Choy, Christopher si Fei-Fei, Li, Scene Graph Generation by Iterative Message Passing, CVPR, 2017.
[5] Alejandro Newell si Jia Deng, Pixels to Graphs by Associative Embedding, NIPS, 2017.
[6] Rowan Zellers, Mark Yatskar, Sam Thomson, Yejin Choi, Neural Motifs: Scene Graph Parsing with Global Context, CVPR, 2018.
Cita
Va rugam sa citati lucrarea noastra daca utilizati acest cod in propria dvs. lucrare:
