Fotografie de Nicolas Cool pe Unsplash
„ Daca inteligenta ar fi o prajitura, invatarea nesupravegheata ar fi prajitura, invatarea supravegheata ar fi cireasa de pe tort, iar invatarea prin intarire ar fi ciresa de pe prajitura. Stim sa facem glazura si ciresa, dar nu stim cum sa facem tortul. ” – Yann LeCun
Pana in 2016, Yann LeCun a inceput sa se protejeze cu utilizarea termenului „invatare nesupravegheata”. In NIPS 2016, a inceput sa o numeasca in termeni si mai nebulosi „invatare predictiva”:
Un element cheie care ne lipseste este invatarea predictiva (sau nesupravegheata): capacitatea unei masini de a modela mediul, de a prezice viitorul posibil si de a intelege cum functioneaza lumea observandu-l si actionand in el.
Am avut intotdeauna probleme cu utilizarea termenului „Invatare nesupravegheata”. In 2017, am prezis ca invatarea fara supraveghere nu va progresa prea mult si am spus „se pare ca exista o deconectare conceptuala masiva cu privire la modul exact in care ar trebui sa functioneze” si ca este „materia intunecata” a invatarii automate. Adica, credem ca trebuie sa existe, dar nu stim cum sa o vedem.
In 2018, am conjecturat ca „progresul in invatarea nesupravegheata va fi incremental, dar va fi condus in primul rand de algoritmi de meta-invatare. Din pacate, termenul „Meta-Learning” devenise fraza generala a algoritmului pe care noi insine nu am inteles cum sa-l cream. Cu toate acestea, meta-invatarea si invatarea nesupravegheata sunt legate intr-un mod foarte subtil pe care sper sa-l discutam in detaliu in viitor.
In early 2019, I adjusted my tune, it was now high time to discard the notion of “Unsupervised Learning”(UL). That is, there is something fundamentally flawed with our understanding of the benefits of UL. My conclusion was that a change in perspective would be required. The conventional form (i.e. clustering and partitioning) of UL is in fact an easy task. This is because of its divorce (or decoupling) from the downstream fitness, goal or objective function. However, recent success in the NLP space with ELMO, BERT, and GPT-2 to extract novel structures residing in the statistics of natural language has lead to massive improvements in many downstream NLP tasks that use these embeddings. To have a successful UL derived embedding, one can employ existing priors that finesse out the implicit relationships that can be found in data. These unsupervised learning methods create new NLP embeddings that make explicit the relationship that is intrinsic in natural language.
Geoffrey Hinton exprima clar acest lucru intr-un interviu recent din „Arhitectii inteligentei”:
Daca incerc doar sa prezic ce se va intampla in continuare, asta este invatarea supravegheata, deoarece ceea ce se intampla in continuare actioneaza ca eticheta, dar nu trebuie sa adaug etichete suplimentare. Exista acest lucru intre datele neetichetate si datele etichetate, care prezice ce urmeaza.
madres viciosas porno español creampie
follada en la playa porno caca
michelle jenner desnuda porno gitanas españolas
porno gay violado porno suizo
tetas saltarinas follando en el trastero
abuelas ardientes mi mujer es muy puta
pillados follando infraganti orgias con abuelas
subporno madura en la playa
parejas pilladas en la calle abuelas sexi
videos porno online sexo gratis porno
creampie abuelas pajas pollones
maduras en playas nudistas familia española follando
vidio xxxx porno viejas alemanas
porno interactivo gratis pierre wodman
videos xxx violadas tetas en las playas
gordibuenas españolas videos porno maduras españa
hentai castellano paginas videos porno gratis
sexporn incestos madres hijos
porno caliente videos de zofilia
porno violacion gay la engaña para follar
Yann LeCun a inceput, de asemenea, sa observe aceasta schimbare de paradigma cand a scris in fluxul sau de Facebook:
Acum o numesc „invatare auto-supravegheata”, deoarece „nesupravegheat” este atat un termen incarcat, cat si confuz.
Intr-o maniera similara inspirata de metodele NLP, un sistem de invatare auto-supravegheat incearca sa prezica parti ale intrarilor sale pe baza celorlalte parti ale intrarilor sale. LeCun mai scrie:
De aceea, mai multe cunostinte despre structura lumii pot fi invatate prin invatare auto-supravegheata decat din celelalte doua paradigme: datele sunt nelimitate, iar cantitatea de feedback oferita de fiecare exemplu este imensa.
Este important sa nu trecem cu vederea faptul ca LeCun foloseste termenul de auto-supraveghere si nu cel mai frecvent utilizat termen de semi-supraveghere. Acesta este motivul pentru care invatarea prin interventie este atat de valoroasa. Un agent care interactioneaza cu mediul sau poate exploata cunostintele despre actiunile sale (care servesc drept semnal de supraveghere). Un agent care interactioneaza in invatarea sa va recunoaste ce date din lume se schimba si care raman aceleasi (adica prezice consecintele actiunilor sale). Acesta este motivul pentru care invatarea intruchipata este esentiala pentru IA. Invatarea intruchipata este ceea ce permite auto-supravegherea. Invatarea intruchipata inseamna a invata ca si cum un agent ar fi propriul sau profesor. Din punct de vedere schematic, acest lucru poate arata astfel:
Sursa: https://psyarxiv.com/eh5b6/
Este intr-adevar o coincidenta interesanta faptul ca DeepMind a publicat recent (10 aprilie) un blog care aborda acelasi subiect. In „Invatarea nesupravegheata: elevul curios”, autorii DeepMind sustin ca:
cea mai mare parte a ceea ce este invatat de un algoritm trebuie sa conste in intelegerea datelor in sine, mai degraba decat in aplicarea acestei intelegeri anumitor sarcini.
Acest lucru implica faptul ca exista o relatie intre intrari, astfel incat sa puteti prevedea alte intrari atunci cand este disponibila doar o intrare partiala. Leon Bottou de la Facebook ofera o perspectiva suplimentara in acest nou cadru bazat pe doua idei. Prima idee este ca, daca puteti scapa de toate corelatiile false, ramaneti cu cele care pastreaza indiferent de context (adica cele „invariante”. A doua idee este ca datele ar trebui separate de contextul din care au fost colectat.In esenta, Bottou sustine o abordare mai sofisticata in separarea contextului de date care conduce la descoperirea unor relatii cauzale mai bogate.
Cu doar cateva zile in urma (15 mai), Vincent Vanhoucke, principalul om de stiinta al Google, a scris pe blog despre „Revolutia linistita semi-supravegheata”. Vanhoucke subliniaza:
Este un moment interesant pentru a revedea valoarea invatarii semi-supravegheate in conditii practice. A vedea provocarile indelungate ale presupusului este un indicator excelent al progresului uimitor care se intampla in domeniu.
O schimbare de paradigma este atunci cand credintele de lunga durata sunt contestate. Intr-adevar, exista o schimbare de paradigma in invatarea profunda, care schimba bazele invatarii profunde in centrul sau. Nu ma crede pe cuvant, ci ia cuvantul numelor mai proeminente pe care tocmai le-am citat mai sus. LeCun, Hinton, Bottou, DeepMind, Vahhoucke, etc. Aceasta este dezvoltarea schimbarii pamantului in domeniul Deep Learning. Aceasta ar putea fi, de fapt, abordarea pe care am asteptat-o, care ne va duce la nivelul urmator in modelul de maturitate a capacitatii. Auto-supravegherea permite modelelor Deep Learning sa necesite mai putine date si, in consecinta, poate duce la capabilitati pe care le gasim in inteligenta biologica.
O lucrare recenta de la DeepMind „Recunoasterea imaginii eficiente in date cu codificare predictiva contrastiva” (Olivier J. Henaff, Ali Razavi, Carl Doersch, SM Ali Eslami, Aaron van den Oord) demonstreaza eficienta autosuperviziunii. Abordarea lor arata ca, cu doar 13 exemple pe clasa, au obtinut rezultate care depasesc AlexNet original si nu fac mai rau decat ResNet:
Comparati acum acest grafic de date experimentale cu ceea ce a scris Vanhoucke in blogul sau recent (nota: culoare schimbata):
https://towardsdatascience.com/the-quiet-semi-supervised-revolution-edec1e9ad8c
Suficient de avansat pentru a fi magic? Supravegherea de sine este locul unde va fi gasita magia.
Demis Hassabis 4 mai 2019 prelegere
Lecturi suplimentare
Exploateaza Deep Learning : Manualul de invatare profunda AI
