Echipa: Skyblazers cu stele Pi (Castigatori in divizia de absolventi)

Aceasta repo contine baza de cod pentru solutia propusa de echipa mea „Pi-star Skyblazers” care a castigat locul 1 in divizia de absolventi a concursului de stiinte de date TAMIDS 2020. Scopul acestei competitii a fost de a utiliza datele companiilor aeriene de la Biroul Statisticilor de Transport din SUA pentru a dezvolta masuri de performanta pentru companiile aeriene si modele pentru a prognoza performanta preconizata. Sumedh Pendurkar a fost coechipierul meu in acest proiect si el este arhitectul din spatele aplicatiei noastre web. A fost distractiv sa lucrez cu el.

Echipa mea a obtinut, de asemenea, premii de top in cadrul concursului de stiinte de date TAMIDS din 2019, in timpul caruia am facut parte dintr-o echipa de super-duper numita „Inteligenta superficiala”. Colegii mei de echipa au fost unii dintre cei mai pasionati, ingeniosi si harnici oameni cu care am lucrat vreodata. Doi dintre ei s-au numarat printre membrii fondatori ai TAMU Datathon.

Aici a fost oferita o privire de ansamblu asupra abordarii si rezultatelor noastre. Va rugam sa nu ezitati sa consultati raportul nostru pentru o descriere detaliata a abordarii, rezultatelor si constatarilor noastre. Sau urmariti aceasta scurta prezentare video de 8 minute daca va grabiti sau preferati sa vizionati videoclipuri decat sa cititi text ca mine. Multe dintre sfaturile si trucurile utilizate in acest proiect au fost inspirate din cursul lui Jeremy Howard intitulat Introducere in invatarea automata pentru codificatori !. Acest curs impreuna cu biblioteca fastai sunt unele dintre cele mai bune resurse pe care le puteti gasi gratuit pe web pentru a ucide majoritatea proiectelor dvs. de stiinta a datelor. Multumiri echipei de la Fast AI pentru eforturile lor uimitoare de democratizare a invatarii automate.

Obiective de proiect

  • Prezicerea intarzierilor la plecare, avand in vedere aeroportul de origine, aeroportul de destinatie, compania aeriana, data calatoriei si ora plecarii.
  • Determinarea principalilor factori care contribuie la intarzieri de zbor.
  • Crearea unei aplicatii web in care un utilizator poate furniza informatii cu privire la calatoria planificata si poate obtine o estimare a intarzierii zborului.

Abordare

Prognoza de intarziere

Modelul nostru de padure instruit aleatoriu prezice un interval in care intarzierea pentru un anumit zbor ar putea scadea. Mai exact, ofera o distributie pe intervalele de intarziere. Intervalul intarzierilor este de 15 minute, iar intarzierea minima prevazuta este de -30 minute, adica zborul pleaca inainte de timp, in timp ce intarzierile mai mari de 180 de minute au fost grupate intr-un singur bloc de interval. Am obtinut o precizie a testului de 62% on️ pe aproximativ 100.000 de calatorii. Credem ca precizia redusa se datoreaza dezechilibrului de clasa prezent in date, deoarece doar aproximativ 20% calatorii sunt cele care au fost intarziate. Mai jos este prezentata matricea de confuzie pe datele testului.

Diagrama de mai jos este diagrama de importanta a caracteristicii obtinuta din modelul nostru care cuantifica efectul fiecarei caracteristici din modelul nostru asupra predictiilor sale. Acesta sugereaza ca ziua lunii si ziua saptamanii in care pleaca un zbor, numarul de pasageri din zbor si numarul zborului sunt cei mai importanti factori care contribuie la intarzierile zborului. O caracteristica interesanta este venitul net pentru anul curent, luna, ruta si transportatorul, care poate sa nu fie atat de evident pentru un non-expert in acest domeniu. Aceasta constatare subliniaza in mod deosebit semnificatia modelelor de invatare automata pentru a gasi modele minore neevidente in date, deoarece relatia dintre intarzieri si venitul net este o captura dificila utilizand doar vizualizari si euristici.

Graficul pentru distributia probabilitatii de predictie pentru o proba data este prezentat mai jos.

Interpretarea arborelui

Graficul cascadei de mai jos arata contributia fiecareia dintre caracteristicile esantionului de declansare la valoarea probabilitatii finale in intervalul (-15 – 0) minute. Caracteristicile cu bare verzi sunt cele care ajuta zborul sa ramana la timp si in timp ce cele cu bare rosii sunt cele care fac opusul. Bara cea mai verde din stanga este predictia medie a modelului nostru.

Aplicatie web

Mai jos este o captura de ecran a aplicatiei noastre web. Va permite sa cautati zborul in functie de sursa, destinatie, data zborului, ora plecarii si transportatorul. Va arata intarzierea asteptata, daca exista, si cat de probabila este. De asemenea, arata ce functioneaza in favoarea ta pentru ca zborul sa fie la timp si ce doare. De exemplu, daca aveti un program mai ridicat, luati in considerare o vacanta cand aveti mai putin timp intre zbor si eveniment, acest lucru va poate ajuta sa luati in considerare un alt zbor pentru a evita grabirea de ultim moment in timp ce va planificati itinerariul.

Munca viitoare

  • Cod refactor pentru a face conducta de testare mai mica.
  • Instruiti un model luand in considerare problema dezechilibrului clasei din setul de date. Consultati acest lucru.
  • Gasiti gratuit un loc pentru gazduirea aplicatiei noastre web.

ARTICOLE SIMILAREDE LA ACELAȘI AUTOR