Kunlong Gu | Inginer, Discovery

In fiecare zi, oamenii vin pe Pinterest pentru a descoperi idei noi – si atunci cand gasesc un produs pe care doresc sa il cumpere, ar trebui sa fie usor sa il achizitioneze. In special pentru decorarea casei, milioane de oameni vin la Pinterest pentru a gasi inspiratie. De aceea, in 2017, am lansat Shop The Look ca o modalitate de a ajuta Pinners sa ajunga mai repede la produsele pe care le iubesc si pentru ca marcile sa puna clientii pe o cale de cumparare. Shop the Look identifica obiecte specifice intr-o scena mai mare cu puncte albe care conecteaza Pinner la pagina de plata.

Array

Anterior am experimentat o abordare umana in bucla pentru a potrivi legaturile de produse cu Pin-uri, dar aveam nevoie de o modalitate mai buna de a scala intre miliardele de imagini pe care le prezentam Pinners. Ca solutie, am folosit viziunea computerizata pentru a automatiza complet procesul de potrivire a produselor cu scenele. Astazi, anuntam o experienta complet automatizata pe scenele de decor pentru casa pe iOS, cu Android in curand. Aceasta actualizare mareste acoperirea magazinului The Look Pin cu 22,5x de-a lungul a miliarde de pini si produse, iar la testele timpurii a ridicat deja implicarea cu 7%.

Array

Aici, va vom impartasi modul in care am valorificat viziunea computerizata si setul de date unic pentru Pinterest (175B + pini salvati in contextul adaugat de utilizator) pentru a automatiza aceasta experienta.

Pe Pinterest, 97% din cele mai populare 1.000 de cautari sunt fara marca (ceea ce inseamna ca oamenii incep, in general, cu cautari de baza pentru produse precum „pantofi” sau „canapea”), astfel incat marcile de toate dimensiunile au posibilitatea de a ajunge la persoanele care se afla in o mentalitate de cumparaturi. Pe masura ce scalam, Shop the Look automat va eticheta Pinuri organice care nu au fost legate de un cont de companie.

Array

Pentru acele marci care ar prefera sa nu aiba etichetele Pin, isi pot revendica domeniile.

Am construit aceasta tehnologie in trei etape: colectarea datelor, modelarea machine learning (ML) si servirea.

Etapa de colectare a datelor pregateste datele pe care modelele noastre de invatare automata le folosesc pentru antrenament, in timp ce etapa de modelare ML pregateste modelele noastre pentru identificarea si localizarea obiectelor de decorare a casei intr-o scena. Acest proces clasifica obiectele in categorii de produse si le reprezinta cu incorporari, care este o reprezentare digitala a imaginilor, astfel incat imaginile similare vizual sa aiba o distanta mai mica intre incorporari in comparatie cu imaginile diferite.

(Puteti gasi mai multe in lucrarea noastra trimisa recent.) In cele din urma, etapa de difuzare foloseste modelul nostru instruit pentru a identifica categoria de produse din interogarea Pin („aspectul”), apoi foloseste incorporari vizuale pentru a gasi cei mai apropiati candidati la produs ” aspectul’.

Fiecare sarcina de vizionare computerizata incepe cu date de imagine. Unul dintre lucrurile speciale despre Pinterest este ca majoritatea Pin-urilor salvate de oameni sunt imagini mai mari (de pe bloguri, site-uri de vanzare cu amanuntul etc.) cu multe produse (o lampa, o canapea, un covor) intr-o singura scena. Printr-un efort curatoriu anterior, am acumulat un set de date de inalta calitate de 270.000 de perechi scena-produs (aproximativ 1 milion obiect-produs). In plus, am adnotat 80.000 de imagini de scena interne (peste 250.000 de obiecte) cu casete si categorii de delimitare bazate pe Google Product Taxonomy (GPT). Am trecut prin mai multe iteratii ale GPT inainte de a avea un ghid ideal de adnotare. Initial am urmat cu strictete GPT, dar modelul nu a functionat bine in unele categorii cu granulatie grosiera (adica lenjerie de pat, mese). Am constatat ca produsele din aceste categorii cu granule grosiere au forme si functii foarte diferite. De exemplu, categoria „lenjerie de pat” include copertine, lenjerie de pat, perne. Apoi am curatat manual seturile de date existente (etichetare cu granulatie fina) si am imbunatatit semnificativ modelul.

In aceasta etapa, am instruit un model de detectare a functiei Pyramid Network Faster R-CNN care analizeaza scenele in obiecte si le adnoteaza cu categorii de produse.

De asemenea, am pregatit un model de incorporare pentru a reprezenta imagini asa cum s-a mentionat mai sus (despre care vom vorbi intr-o viitoare postare pe blog – incantati-va!). Incorporarea invata din similitudinea vizuala a imaginilor Pin. In special, am adaugat acest set de date de inalta calitate de 270.000 de perechi de potrivire scena-produs, astfel incat incorporarea sa poata face fata schimbarii domeniului de la scene la imagini de produs. Schimbarea domeniului inseamna ca obiectele din scene au diferite conditii de iluminare, rotatie si fundaluri zgomotoase, in timp ce imaginile produsului contin de obicei o fotografie frontala de inalta calitate cu fundal alb clar. Modelul nostru de incorporare surprinde acele informatii bine oferind in acelasi timp similaritatea produsului.

Al treilea model este un model de re-clasificare care se antreneaza in principal pe datele de implicare a utilizatorilor si re-claseaza candidatii similari din punct de vedere vizual, astfel incat produsul sa fie optimizat pentru implicare. Modelul de re-clasificare include, de asemenea, informatii semantice si contextuale, cum ar fi categoria imaginii scenei, placile care includ frecvent acest Pin si alte obiecte din scena.

Exista trei pasi in etapa de servire.

Cand un utilizator se angajeaza pe un Pin, mai intai descompunem scena folosind modelul de detectare. Limitam spatiul de cautare prin potrivirea adnotarii de la detectare si a adnotarilor de categorie din corpusul de cumparaturi. Apoi, folosim scorul de similaritate vizuala (distanta dintre incorporari) in indexul de cumparaturi pentru a genera candidati de rezultat. In cele din urma, aplicam modelul de reclasificare pe acei candidati pentru a regla fin rezultatele.

Aceasta actualizare aduce mai multe rezultate bazate pe viziunea computerizata pe Pinterest, aratand idei similare vizual mai multor oameni. Cu mai multe Shop Pinii din sistem, Pinners se poate astepta sa vada o experienta de utilizator mult mai consistenta in toate scenele de decorare a casei.

In ceea ce priveste functionarea interna, automatizarea elibereaza oamenii de a face lucrari repetitive, astfel incat sa poata petrece mai mult timp fiind creativi.

Pe termen lung, imaginile scene sunt resurse excelente pentru a invata relatia dintre obiecte, adica ce obiecte se completeaza reciproc sau merg bine impreuna intr-un anumit stil. Speram sa valorificam aceste date bogate de aparitie a obiectelor si sa construim un grafic de obiect sofisticat pentru fiecare obiect din lume, facand din Pinterest un stilist personalizat pentru acasa, moda si multe altele.

Va puteti astepta sa vedeti mai multe de la noi in cumparaturi si cautare vizuala in urmatoarele luni!

Multumiri: Automatizarea Shop the Look este un efort de colaborare la Pinterest. Multumiri speciale lui Chuck Rosenberg, Andrew Zhai, Dmitry Kislyuk, Raymond Shiau, Eric Kim, Francis Chen, Jeffrey Harris, Angela Guo, Tim Weingarten, Jen Chan, Joyce Zha, Amanda Strickler si Stephen Carr pentru colaborarea la acest produs.

ARTICOLE SIMILAREDE LA ACELAȘI AUTOR