Lucrarea prezinta cateva lectii cheie si „intelepciune populara” pe care cercetatorii si practicienii in invatarea automata au invatat-o din experienta si care sunt greu de gasit in manuale.
1. Invatare = Reprezentare + Evaluare + Optimizare
Toti algoritmii de invatare automata au trei componente:
- Reprezentarea pentru un cursant este setul daca clasificatorii / functiile care pot fi invatate. Acest set se numeste spatiu de ipoteza . Daca o functie nu se afla in spatiul ipotezelor, ea nu poate fi invatata.
- Functia de evaluare spune cat de bun este modelul de invatare automata.
- Optimizarea este metoda de a cauta cel mai optim model de invatare.
2. Generalizarea sa care conteaza
Scopul fundamental al invatarii automate este de a generaliza dincolo de setul de instruire. Datele utilizate pentru evaluarea modelului trebuie pastrate separate de datele utilizate pentru invatarea modelului. Cand folosim generalizarea ca obiectiv, nu avem acces la o functie pe care o putem optimiza. Deci, trebuie sa folosim eroarea de antrenament ca proxy pentru eroarea de testare.
3. Datele singure nu sunt suficiente
Deoarece scopul nostru final este generalizarea (a se vedea punctul 2), nu exista date „suficiente” . Unele cunostinte dincolo de date sunt necesare pentru a generaliza dincolo de date. O alta modalitate de a spune este „Niciun cursant nu poate invinge ghicitul asupra tuturor functiilor posibile”. Dar, in loc de ipoteze de codare dura, cursantii ar trebui sa permita ca ipotezele sa fie declarate in mod explicit, variate si incorporate automat in model.
4. Suprapunerea are multe fete
O modalitate de a interpreta supraadaptarea este de a imparti eroarea de generalizare in doua componente: partinire si varianta. Bias este tendinta elevului de a invata in mod constant acelasi lucru gresit (in imagine, o prejudecata de mare ar insemna o distanta mai mare de centru). Varianta este tendinta de a invata lucruri aleatorii indiferent de semnal (in imagine, o varianta mare ar insemna mai multe puncte imprastiate).
Un cursant mai puternic (unul care poate invata multe modele) nu trebuie sa fie mai bun decat unul mai putin puternic, deoarece poate avea o varianta mare. In timp ce zgomotul nu este singurul motiv pentru supraalimentare, acesta poate agrava intr-adevar problema. Unele instrumente impotriva supra-dotarii sunt – validarea incrucisata , regularizarea , testarea semnificatiei statistice etc.
5. Intuitia esueaza in dimensiuni ridicate
Generalizarea corecta devine exponential mai dificila pe masura ce dimensionalitatea (numarul de trasaturi) devine mare. Algoritmii de invatare automata depind de rationamente bazate pe similaritate, care se descompun in dimensiuni ridicate, deoarece un set de antrenament de dimensiuni fixe acopera doar o mica parte din spatiul mare de intrare. Mai mult, intuitiile noastre din spatiul tridimensional nu se aplica adesea spatiilor cu dimensiuni superioare. Deci, blestemul dimensionalitatii poate depasi beneficiile de a avea mai multe caracteristici.
el mejor video porno videos porno corridas
porno abuela sex porne
porno incesto asiatico videosdeincesto
videos porno corridas madura española con joven
tios desnudos porno agresivo
muy jovencitas porno hentai scat
madres viciosas colegialas cachondas
lesbianas maduras españolas penes de abuelos
casadas cachondas creampie abuelas
travestis meando española folla
comiendo polla escuchar relatos porno
sexo playa nudista corrida boca
chochitos jovencitos corridas internas peludas
porno forzadas como folla mi vecina
pilladas desnudas pornotrans
coñitos sexo con viejas
forzadas a follar videos porno casero españa
cine xxx miakalifa
incesto italiano porno porno gay chino
cerdas com gratis porno viola a su madre
Desi, in majoritatea cazurilor, cursantii beneficiaza de binecuvantarea neuniformitatii, deoarece punctele de date sunt concentrate in varietati cu dimensiuni inferioare. Elevii pot profita implicit de aceasta dimensiune eficienta mai mica sau pot folosi tehnici de reducere a dimensionalitatii.
6. Garantiile teoretice nu sunt ceea ce par
Un tip comun de legat comun atunci cand este vorba de algoritmi de invatare automata este legat de numarul de esantioane necesare pentru a asigura o generalizare buna. Dar aceste limite sunt foarte libere in natura. Mai mult, legatul spune ca, avand in vedere un set de date de formare suficient de mare, elevul nostru ar returna o ipoteza buna cu probabilitate mare sau nu ar gasi o ipoteza consistenta. Nu ne spune nimic despre cum sa selectam un spatiu de ipoteza bun.
Un alt tip obisnuit de legatura este legatura asimptotica care spune „date date infinite, cursantul este garantat sa produca un clasificator corect”. Dar, in practica, nu avem niciodata date infinite, iar datele singure nu sunt suficiente (a se vedea punctul 3). Deci, garantiile teoretice ar trebui utilizate pentru a intelege si a conduce designul algoritmului si nu ca singurele criterii de selectare a algoritmului.
7. Ingineria caracteristicilor este cheia
Invatarea automata este un proces iterativ in care instruim cursantul, analizam rezultatele, modificam cursantul / datele si repetam. Ingineria caracteristicilor este un pas crucial in aceasta conducta. A avea tipul potrivit de caracteristici (caracteristici independente care se coreleaza bine cu clasa) faciliteaza invatarea. Dar ingineria caracteristicilor este, de asemenea, dificila, deoarece necesita cunostinte specifice domeniului, care depaseste doar datele disponibile (a se vedea punctul 3).
8. Mai multe date depasesc un algoritm inteligent
De regula, un algoritm prost cu multe date bate un algoritm inteligent cu o cantitate modesta de date. Dar mai multe date inseamna mai multe probleme de scalabilitate. Cursantii cu dimensiuni fixe (cursantii parametrici) pot profita de date numai intr-o masura in care adaugarea mai multor date nu imbunatateste rezultatele. Cursantii cu dimensiuni variabile (cursanti non-parametrici) pot, teoretic, sa invete orice functie avand in vedere o cantitate suficienta de date. Desigur, chiar si cursantii neparametrici sunt legati de limitari ale memoriei si puterii de calcul.
9. Invata multe modele, nu doar unul
In primele zile ale invatarii automate, modelul / cursantul care urma sa fie instruit a fost predeterminat si accentul a fost pus pe reglarea acestuia pentru performante optime. Apoi, accentul sa mutat pe incercarea multor variante ale diferitilor cursanti. Acum accentul este pus pe combinarea diferitelor variante ale diferitilor algoritmi pentru a genera cele mai optime rezultate. Astfel de tehnici de asamblare a modelului includ ambalarea , amplificarea si stivuirea .
10. Simplitatea nu implica acuratete
Desi aparatul de ras Occam sugereaza ca modelele de invatare automata ar trebui sa fie pastrate simple, nu exista o legatura necesara intre numarul de parametri ai unui model si tendinta acestuia de a se imbraca. Complexitatea unui model poate fi legata de dimensiunea spatiului ipotezei, deoarece spatiile mai mici permit generarea ipotezei prin coduri mai mici si mai simple. Dar exista o alta latura a acestei imagini – Un cursant cu un spatiu mai mare de ipoteze care incearca mai putine ipoteze este mai putin probabil sa se imbrace decat unul care incearca mai multe ipoteze dintr-un spatiu mai mic. Deci, dimensiunea spatiului de ipoteza este doar un ghid aproximativ spre precizie. Domingos concluzioneaza in cealalta lucrare a sa ca „ar trebui preferate ipoteze mai simple, deoarece simplitatea este o virtute in sine, nu datorita unei conexiuni ipotetice cu acuratetea”.
11. Reprezentarea nu implica invatare
Doar pentru ca o functie poate fi reprezentata, nu inseamna ca functia poate fi de fapt invatata. Restrictiile impuse de date, timp si memorie limiteaza functiile care pot fi invatate intr-o maniera fezabila. De exemplu, cei care invata arborele de decizie nu pot invata copaci cu mai multe frunze decat numarul de puncte de date de formare. Intrebarea corecta de pus este „daca o functie poate fi invatata” si nu „daca o functie poate fi reprezentata”.
12. Corelatia nu implica cauzarea
Corelatia poate sugera o posibila relatie de cauza si efect, dar aceasta trebuie investigata si validata. Pe de o parte, corelatia nu poate fi luata ca dovada a cauzalitatii.
Editati | × :
Scriu aceste rezumate ca parte a initiativei mele numita „hartie-o-saptamana”, unde m-am angajat sa citesc si sa rezum o lucrare de cercetare in fiecare saptamana. Puteti gasi toate rezumatele aici.
