De cand Google Research si-a introdus Transformatorul bidirectional (BERT) in 2018, modelul a castigat o popularitate fara precedent in randul cercetatorilor. BERT a stabilit noi inregistrari pentru 11 sarcini de procesare a limbajului natural (NLP), iar mai mult de jumatate din primele 10 modele de referinta GLUE (General Language Understanding Evaluation) Benchmark sunt construite deasupra arhitecturii BERT.
Acum, un grup de cercetatori de la Universitatea Nationala Cheng Kung Tainan din Taiwan contesta eficacitatea BERT. Lucrarea lor Probing Neural Network Comprehension of Natural Language Arguments propune ca performanta impresionanta a BERT ar putea fi atribuita „exploatarii unor indicii statistice false in setul de date” si ca, fara ele, BERT ar putea sa nu fie mai bun decat modelele aleatorii. Lucrarea a fost acceptata de Asociatia pentru Lingvistica Computationala (ACL).
Cercetatorii au introdus un nou set de date contradictorii care reduce precizia BERT de la 77% la 53% si sugereaza ca acest set de date ar putea fi adoptat ca standard pentru viitoarele evaluari ale performantei.
Comunitatea NLP a construit teste de referinta, cum ar fi SQuAD si AllenAI, precum si valori de evaluare precum GLUE pentru a testa performanta modelelor. In 2018, un grup de cercetatori germani a introdus Sarcina de intelegere a argumentelor (ARCT) , conceputa pentru a evalua capacitatea de deducere a unui model de limba. Avand in vedere o premisa / motiv si o cerere, modelul trebuie sa deduca unui mandat (de ce cererea rezulta din premisa) din doua optiuni. De exemplu, avand in vedere afirmatia „Google nu este un monopol daunator” si premisa „Oamenii pot alege sa nu foloseasca Google”, modelul ar trebui sa aleaga mandatul corect, care este „Alte motoare de cautare nu redirectioneaza catre Google” si nu alternativa, „Toate celelalte motoare de cautare redirectioneaza catre Google”.
Desi sarcina ARCT a ridicat pragul pentru modelele lingvistice, BERT a obtinut in continuare o precizie de 77%, doar cu trei puncte sub media (fara pregatire) umana. Acest lucru i-a motivat pe cercetatorii Universitatii Cheng Kung sa investigheze de ce BERT functioneaza atat de bine pe ARCT. Spre surprinderea lor, au descoperit ca modelul BERT isi bazeaza predictiile pe indicii false – de exemplu, tinde sa aleaga mandatul care include cuvantul „nu”. In ansamblul setului de date, chiar si un model aleatoriu poate obtine o precizie de 61% daca pur si simplu continua sa aleaga mandatul care contine cuvantul „nu”.
incesto en espanol folladas caseras reales
videos sexo español pajas en español
fakings.tv coños ricos
mujeresfollando incesto lesbianas
folladas extremas brutal tops
sione cooper casadas españolas follando
gorditas tetonas mamadas de polla
porno espania sexo hd
joven folla por dinero porno france
vidiosxxx peliculas eroticas italianas
como folla mi vecina xxxespañol
abuelasputas incestoxxx
padre se folla a su hija follando con mi mujer
vídeos de sexo gratis videos xxx violadas
analxxx peliculas porno castellano
pilladas desnudas españolas masturbandose
pelis porno españolas abuela porno
forzadas a follar muy maduras follando
porno viejas en español fiestas xxx
videos porno para mujeres gratis mi mujer me folla el culo
Corelatia falsa a fost propusa in 1997 si denota o relatie matematica in care doua sau mai multe evenimente sau variabile sunt asociate, dar nu sunt legate de cauzalitate. In acest caz, cuvantul „nu” este un tip de indiciu statistic fals care determina modelul sa aleaga raspunsul corect, dar in esenta nu are nicio relatie de cauzalitate cu raspunsul.
Mai mult, bigramele care au aparut cu „nu”, precum „nu vor” si „nu pot”, s-au dovedit a fi foarte predictive.
Cercetatorii au efectuat experimente suplimentare pentru a-si testa conjectura. Anterior, BERT fusese instruit pe perechi mandat-motiv-cerere, dar acum cercetatorii il instruiau pe BERT doar cu privire la datele despre mandat. A obtinut o precizie de 71%, cu doar sase puncte sub performanta sa maxima.
Cercetatorii au creat apoi un set de date contradictorii cu revendicarile negate si etichetele inversate, astfel incat distributia indicilor statistici sa fie reflectata in optiunile de mandat, eliminand efectiv semnalele. Acest lucru a scazut precizia BERT la 53%.
Lucrarea ACL nu este prima incercare de a regandi eficacitatea retelelor neuronale pe scara larga in sarcinile NLP. De fapt, de cand retelele neuronale au fost aplicate pentru prima data la NLP, multi experti lingvistici si lingvisti au fost sceptici cu privire la faptul ca modelele de invatare profunda care pot cartografia eficient reprezentarea latenta din date sunt de fapt capabile sa inteleaga semantica limbilor.
La inceputul acestui an, cercetatorii de la Universitatea Johns Hopkins si Universitatea Brown au publicat o lucrare cu concluzii similare: „un sistem de invatare automata poate obtine un scor bun pe un anumit set de teste, bazandu-se pe euristici care sunt eficiente pentru tipuri de exemple frecvente, dar care se descompun in cazuri mai dificile. ”
Unii cercetatori au inceput sa se intrebe daca comunitatea de invatare automata pune prea mult accent pe testele standard de referinta. Anna Rogers, asociata post-doctorala in Laboratorul de masini de text al Departamentului de stiinte informatice, Universitatea din Massachusetts Lowell, a scris in blogul sau ca „Daca principalul rezultat al cititorului va fi clasamentul, asta creste perceptia ca merita publicarea se realizeaza numai prin infrangerea SOTA. ”
Rogers sugereaza ca comunitatea de invatare automata ar trebui sa vina cu noi metode de evaluare care ii recompenseaza pe cei care inoveaza pe noi arhitecturi, mai degraba decat ca echipele sa concureze reciproc prin simpla extindere a modelelor lor sau aruncarea mai multor date si calcule in cercetarile existente.
Autorii subliniaza ca lucrarea lor nu este menita sa desconsidere valoarea BERT, pe care o considera un sistem puternic de invatare automata, care se poate imbunatati daca se neutralizeaza indicii statistici falsi problematici. „Analiza punctelor de date usor de clasificat a aratat ca se bazeaza pe o proportie mai mica din cel mai puternic cuvant indicativ decat BoV si BiLSTM – adica BERT a invatat cand sa ignore prezenta„ nu ”si sa se concentreze pe indicii diferite. Acest lucru indica abilitatea de a exploata informatii de distributie comune mult mai subtile. ”
David Ha, cercetator in domeniul inteligentei artificiale, David Ha, a facut obiectul acestei opinii: „Cred ca caracteristicile invatate folosind un model precum BERT sunt inca foarte utile pentru multe aplicatii si este bine ca astfel de lucrari sa ne aminteasca de limitarile lor. Ne face sa facem un pas inapoi de la stoarcerea castigurilor mici si sa aruncam o privire asupra imaginii mai generale a ceea ce facem. ”
Lucrarea Probing Neural Network Comprehension of Natural Language Arguments este pe arXiv.
