Aceasta este implementarea pirtorch oficiala a BCNet construita pe detectron2 open-source.

Segmentare de instanta constienta de ocluzie profunda cu suprapuneri de bi-straturi

Lei Ke, Yu-Wing Tai, Chi-Keung Tang

CVPR 2021

Repere

  • BCNet: Segmentarea instantei in doua / o etapa (detectare-apoi-segment) cu performanta de ultima generatie.
  • Noutate: Modelare explicita a ocluziei cu decuplare bistratificata pentru ocluzor si ocluzie in RoI.
  • Eficacitate: imbunatatiri mari atat pentru detectoarele FCOS (fara ancore), cat si pentru cele mai rapide R-CNN (bazate pe ancore).
  • Simplu: sarcina de calcul suplimentara mica si usor de utilizat.

Vizualizarea obiectelor ocluse

Rezultate de segmentare a instantelor calitative ale BCNet-ului nostru, folosind detectorul ResNet-101-FPN si detectorul Raster-CNN mai rapid. Randul de jos vizualizeaza harta de caldura patrata a previziunilor de contur si masca de catre cele doua straturi GCN pentru ocluzor si ocluzie in aceeasi regiune ROI specificata de caseta de limitare rosie, ceea ce face, de asemenea, rezultatul de segmentare final al BCNet mai explicabil decat metodele anterioare.

Rezultate de segmentare a instantelor calitative ale BCNet-ului nostru, utilizand detectorul ResNet-101-FPN si FCOS.

Rezultate la testul COCO-dev

(Verificati Tabelul 8 al lucrarii pentru rezultate complete, toate metodele sunt instruite pe trenul COCO 2017)

Detector Backbone Method mAP (mask) Faster R-CNN ResNet-50 FPN Mask R-CNN (ICCV’17) 34.2 Faster R-CNN ResNet-50 FPN PANet (CVPR’18) 36.6 Faster R-CNN ResNet-50 FPN MS R -CNN (CVPR’19) 35,6 Faster R-CNN ResNet-50 FPN PointRend (1x CVPR’20) 36,3 Faster R-CNN ResNet-50 FPN BCNet (CVPR’21) 38,4 Faster R-CNN ResNet-101 FPN Masca R- CNN (ICCV’17) 36.1 Faster R-CNN ResNet-101 FPN MS R-CNN (CVPR’19) 38.3 Faster R-CNN ResNet-101 FPN BMask R-CNN (ECCV’20) 37.7 Faster R-CNN ResNet-101 FPN BCNet (CVPR’21) 39,8 FCOS ResNet-101 FPN BlendMask (CVPR’20) 38,4 FCOS ResNet-101 FPN CenterMask (CVPR’20) 38,3 FCOS ResNet-101 FPN SipMask (ECCV’20) 37.8 FCOS ResNet -101 FPN BCNet (CVPR’21) 39.6 , model preinstruit, fisier de depunere

Introducere

Segmentarea obiectelor foarte suprapuse este dificila, deoarece de obicei nu se face distinctie intre contururile obiectelor reale si limitele ocluziei. Spre deosebire de metodele anterioare de segmentare a instantelor in doua etape, BCNet modeleaza formarea imaginii ca o compozitie a doua straturi de imagine suprapuse, unde stratul GCN superior detecteaza obiectele ocluzive (ocluzer), iar stratul GCN inferior deduce instanta partial ocluzionata (occludee). Modelarea explicita a relatiei de ocluzie cu structura cu doua straturi decupleaza in mod natural limitele instantelor ocluzive si ocluse si ia in considerare interactiunea dintre acestea in timpul regresiei mastii.Validam eficacitatea decuplarii bistratului atat pe detectoarele de obiecte cu o etapa, cat si cu doua etape, cu diferite coloane vertebrale si optiuni de strat de retea. Reteaua BCNet este dupa cum urmeaza:

O scurta comparatie a arhitecturilor capului mastii, consultati lucrarea noastra pentru detalii complete.

Instalare pas cu pas

conda create -n bcnet python = 3.7 -y source active bcnet conda install pytorch == 1.

videos porno casero españa fiestas porno
peliculas eroticas alemanas porno tv
miakalifa porni
maturehd amas de casa follando
se corre en el coño de su hija pornox
me gusta follar española follando
video sexo porno fiestas
amas de casa infieles incesto x
maduras masturbandose largeporntube
incesto subtitulado español tias corriendose
abuelas tragando leche todoporno
comic maduras pilladas desnudas
videos porno corridas internas madresxxx
fiestas porno maduras folladoras
mature.com maduras en la playa
porno gratis viejas mujer masturbandose
vecina mirona masturbaciones
videos actrices españolas desnudas p0rno
pajas caseras michelle jenner desnuda
se folla a su cuñada maduras sex

4.0 torchvision == 0.5.0 cudatoolkit = 10.1 -c pytorch # FCOS and coco api and visualization dependencies pip install ninja yacs cython matplotlib tqdm pip install opencv-python == 4.4.0.40 # Boundary dependency pip install scikit-image export INSTALL_DIR = $ PWD # install pycocotools. Va rugam sa va asigurati ca ati instalat Cython. cd $ INSTALL_DIR git clone https://github.com/cocodataset/cocoapi.git cd cocoapi / PythonAPI python setup.py build_ext install # install BCNet cd $ INSTALL_DIR git clone https://github.com/lkeab/BCNet.git cd BCNet / python3 setup.py build develop dezinstalat INSTALL_DIR

Pregatirea setului de date

Pregatiti-va pentru setul de date coco2017 urmand aceasta instructiune. Si utilizati adnotarile noastre de masca convertite pentru a inlocui fisierul de adnotari original pentru antrenamentul de decuplare a straturilor.

mkdir -p datasets / coco ln -s / path_to_coco_dataset / annotations datasets / coco / annotations ln -s / path_to_coco_dataset / train2017 datasets / coco / train2017 ln -s / path_to_coco_dataset / test2017 datasets / coco / test2017 lets / coco / val2017

Instruire si evaluare multi-GPU pe setul de validare

Sau

CUDA_VISIBLE_DEVICES = 0,1 python3 tools / train_net.py –num-gpus 2 \ –config-file configs / fcos / fcos_imprv_R_50_FPN.yaml 2> & 1 | tee log / train_log.txt

Modele preinstruite

Descarcare versiune FCOS: link

mkdir pretrained_models # Si pune modelele descarcate in acest director.

Testarea pe Test-dev

export PYTHONPATH = $ PYTHONPATH: `pwd` CUDA_VISIBLE_DEVICES = 0,1 python3 tools / train_net.py –num-gpus 2 \ –config-file configs / fcos / fcos_imprv_R_101_FPN.yaml \ –eval-only MODEL.WEIGHTS. pretrained_models / xxx.pth 2> & 1 | tee log / test_log.txt

Vizualizare

Script de referinta pentru producerea adnotarii masti stratificate:

Citare

Daca BCNet vi se pare util in cercetarea dvs. sau faceti referire la rezultatele de baza furnizate, va rugam sa marcati acest depozit si sa luati in considerare citarea:

@inproceedings {ke2021bcnet, author = {Ke, Lei and Tai, Yu-Wing and Tang, Chi-Keung}, title = {Deep Occlusion-Aware Instance Segmentation with Overlapping BiLayers}, booktitle = {CVPR}, year = {2021} }

Link-uri conexe

Video Youtube | Poster

Media Report (chinezesc) de arxivDaily | CVMart (chineza) | 52CV (chineza) | CVer (chineza)

Licenta

BCNet este eliberat sub licenta MIT. Consultati LICENTA pentru detalii suplimentare. Multumim detectorului Libs de la terti.