Principiul incertitudinii Deep Learning

Fotografie de zhang kaiyv pe Unsplash

DeepMind are o noua lucrare in care cercetatorii au descoperit doua „descoperiri surprinzatoare”. Lucrarea este descrisa in „ Intelegerea invatarii profunde prin stergerea neuronilor ”. In retelele care generalizeaza bine, (1) toti neuronii sunt importanti si (2) sunt mai robusti la deteriorare. Reteaua Deep Learning are un comportament care ne aminteste de holograme. Aceste rezultate confirma in continuare conjectura mea ca sistemele de invatare profunda sunt ca niste amintiri holografice.

retelele care generalizeaza bine sunt mult mai putin dependente de directii unice decat cele care memoreaza.

Hologramele sunt imagini tridimensionale care sunt create de interferenta fasciculelor de lumina. Materialul de codificare al unei holograme este o suprafata bidimensionala care capteaza campul luminos mai degraba decat proiectia unei imagini pe suprafata. In general, puteti duce acest lucru la o dimensiune superioara, astfel incat o holograma pentru spatiu-timp 4D va fi in 3D (una fara dimensiuni). Aceasta relatie ca un obiect cu dimensiuni inferioare poate reprezenta un obiect cu dimensiuni superioare este, de fapt, ceva ce intuitia noastra umana este incapabila sa inteleaga. Experienta noastra biologica a inteles invers, cum ar fi obiectele 3D care proiecteaza in planuri 2D.

https://necessarydisorder.wordpress.com/2018/03/31/a-trick-to-get-looping-curves-with-lerp-and-delay/

La inceputul secolului al XX-lea, s-a descoperit ca lumina are acea calitate nedumeritoare de a fi atat o unda, cat si o particula. Aceasta notiune non-intuitiva a fizicii cuantice, aceasta dualitate unda-particula, este exprimata si ca Principiul Incertitudinii. Un concept care este chiar mai general decat acesta este descoperirea recenta a „dualitatii holografice”. Aparent, natura leaga, de asemenea, doua obiecte diferite, holograma si proiectia sa dimensionala superioara intr-un mod la fel de bizar:

Cand particulele sunt calme la suprafata, asa cum sunt in majoritatea formelor de materie, atunci situatia din interiorul iazului este extrem de complicata.

Daca materia puternic corelata este considerata „vie” pe suprafata 2-D a unui iaz, dualitatea holografica sugereaza ca turbulenta extrema pe acea suprafata este echivalenta matematic cu apele linistite din interior.

Exista o dualitate holografica in natura care se poate traduce, de asemenea, in functionarea retelelor Deep Learning. Cu cat generalizarea unei retele este mai mare, cu atat neuronii ei sunt mai incurcati si, in consecinta, reteaua devine mai putin interpretabila. Principiul incertitudinii aplicat invatarii profunde poate fi afirmat ca:

Retelele cu o generalizare mai mare sunt mai putin interpretabile. Retelele care pot fi interpretate nu se generalizeaza bine.

Ceea ce m-a condus la conjectura mea in 2016 ca „Singura modalitate de a face ca Deep Learning sa poata fi interpretata este sa o explicam ea insasi”. Daca va ganditi la asta din perspectiva dualitatii holografice, atunci este inutil sa priviti greutatile interne ale unei retele neuronale pentru a intelege comportamentul acesteia. Mai degraba, examinam cel mai bine suprafata acestuia pentru a gasi o explicatie mai simpla (si mai putin turbulenta).

Acest lucru ma conduce la inevitabila realitate ca cel mai bun lucru pe care il putem face este ca masinile sa redea „explicatii false” foarte intuitive. Explicatiile false nu sunt explicatii false, ci explicatii mai degraba incomplete, cu scopul de a provoca o intelegere intuitiva. Asa fac profesorii buni, asta a facut Richard Feynman cand le-a explicat elevilor sai mecanica cuantica.

In plus, acest lucru explica fragilitatea reala a sistemelor simbolice. Regulile simbolice sunt interpretari abstracte ale unui sistem. Inteligenta artificiala, asa cum a fost prevazuta la sfarsitul anilor 1950, s-a bazat pe crearea unor reguli logice suficiente pentru a ajunge la inteligenta umana (vezi: Cyc). Zeci de ani de cercetare in AI au fost irosite pe aceasta abordare de sus in jos. O abordare alternativa de jos in sus mai promitatoare (a se vedea: Intuitia artificiala) este baza invatarii profunde.

Principiul holografic este o poveste foarte convingatoare despre modul in care functioneaza Deep Learning. Din pacate, la fel ca fizica cuantica, apartine unui taram care este pur si simplu dincolo de propria noastra intuitie. Sir Roger Penrose ar fi putut fi pe drumul cel bun atunci cand a speculat ca creierele functioneaza ca o consecinta a comportamentului cuantic. Cu toate acestea, am indoieli ca acest lucru este adevarat.

Voi acorda aceasta observatie ca pur si simplu nu avem suficiente detalii cu privire la modul in care functioneaza de fapt creierul (vezi: „Suronii neuronii sunt mai complexi”). Exista, de asemenea, argumente bune potrivit carora anumite animale (adica creierul pasarilor pentru navigatie) sunt activate de mecanisme unice gasite in lumea fizica.

Cu toate acestea, ideea ca efectele cuantice sunt explicatia nu doar a cunoasterii umane, ci si a cunoasterii animalelor, este o presupunere care se bazeaza pe dovezi experimentale foarte rare. Creierul este probabil mai complex decat modelele noastre artificiale actuale, insa complexitatea (cum ar fi turbulenta) nu necesita efecte cuantice ca explicatie. Daca puteti explica turbulenta ca provenind din efectele cuantice, atunci acesta este un tip similar de argument pe care va trebui sa il aduceti cu privire la cunoastere. Acesta este argumentul care lipseste cu Penrose.

Penrose sustine ca trebuie sa aveti efecte cuantice pentru a ajunge la cunoastere. Acest lucru este in prezent contrar majoritatii opiniei din neurologie sau din modelele Deep Learning. Cu toate acestea, propun ceva diferit care spune ca incertitudinea cuantica este prezenta in retelele neuronale. Exista o complexitate emergenta in realitate care se datoreaza interactiunilor interne ale populatiilor masive (cum ar fi vremea). Propun ca creierul nostru (similar cu sistemele Deep Learning) sa prezinte aceasta dualitate holografica, dar in intregime in regimul mecanicii clasice (adica compus din subcomponenti deterministi).

Fapte amuzante: JJ Thomson a castigat premiul Nobel pentru fizica din 1906 pentru experimentele care arata ca electronii sunt particule. Fiul sau, GP Thomson, a castigat Premiul Nobel pentru fizica din 1937 pentru ca arata ca electronii sunt unde.

‘Silent Type’ Cells Play Greater Role in Brain Behavior Than Previously Thought

https://towardsdatascience.com/paper-summary-nips-2017-the-un-reliability-of-saliency-methods-8ed7774a69aa

Exploreaza invatarea profunda : intuitie artificiala: revolutia de invatare profunda improbabila