Accelerarea interogarii Azure Data Lake Storage

• 09/09/2020
• 4 minute de citit

• • n

  • D

In acest articol

Accelerarea interogarilor permite aplicatiilor si cadrelor de analiza sa optimizeze dramatic prelucrarea datelor prin recuperarea numai a datelor de care au nevoie pentru a efectua o anumita operatie. Acest lucru reduce timpul si puterea de procesare necesare pentru a obtine informatii critice asupra datelor stocate.

Prezentare generala

Accelerarea interogarii accepta predicatele de filtrare si proiectiile coloanelor care permit aplicatiilor sa filtreze randurile si coloanele in momentul citirii datelor de pe disc. Numai datele care indeplinesc conditiile unui predicat sunt transferate prin retea catre aplicatie. Acest lucru reduce latenta retelei si costurile de calcul.

Puteti utiliza SQL pentru a specifica predicatele filtrului de rand si proiectiile coloanei intr-o solicitare de accelerare a interogarii. O cerere proceseaza un singur fisier. Prin urmare, caracteristicile relationale avansate ale SQL, cum ar fi imbinarile si gruparea pe agregate, nu sunt acceptate. Accelerarea interogarii accepta datele formatate CSV si JSON ca intrare la fiecare solicitare.

Functia de accelerare a interogarii nu este limitata la Data Lake Storage (conturi de stocare care au activat spatiul de nume ierarhic). Accelerarea interogarii este complet compatibila cu bloburile din conturile de stocare care nu au activat un spatiu de nume ierarhic. Aceasta inseamna ca puteti obtine aceeasi reducere a latentei retelei si a calcula costurile atunci cand procesati date pe care le-ati stocat deja ca blob-uri in conturile de stocare.

Pentru un exemplu despre cum se utilizeaza accelerarea interogarii intr-o aplicatie client, consultati Filtrarea datelor utilizand accelerarea interogarii Azure Data Lake Storage.

Flux de date

Urmatoarea diagrama ilustreaza modul in care o aplicatie tipica foloseste accelerarea interogarii pentru procesarea datelor.

1. Aplicatia client solicita date de fisiere specificand predicate si proiectii de coloane.

2. Accelerarea interogarii analizeaza interogarea SQL specificata si distribuie lucrarile pentru a analiza si filtra datele.

3. Procesoarele citesc datele de pe disc, analizeaza datele utilizand formatul adecvat si apoi filtreaza datele aplicand predicatele si proiectiile coloanei specificate.

4. Accelerarea interogarii combina fragmentele de raspuns pentru a reveni la aplicatia client.

5. Aplicatia client primeste si analizeaza raspunsul transmis. Aplicatia nu trebuie sa filtreze date suplimentare si poate aplica direct calculul sau transformarea dorita.

Performanta mai buna la un cost mai mic

Accelerarea interogarilor optimizeaza performanta prin reducerea cantitatii de date transferate si procesate de aplicatia dvs.

Pentru a calcula o valoare agregata, aplicatiile recupereaza de obicei toate datele dintr-un fisier si apoi proceseaza si filtreaza datele local. O analiza a tiparelor de intrare / iesire pentru sarcinile de lucru analitice arata ca aplicatiile necesita de obicei doar 20% din datele pe care le citesc pentru a efectua orice calcul dat. Aceasta statistica este adevarata chiar si dupa aplicarea tehnicilor precum taierea partitiilor. Aceasta inseamna ca 80% din aceste date sunt transferate inutil in retea, analizate si filtrate de aplicatii. Acest model, conceput in esenta pentru a elimina datele inutile, implica un cost semnificativ de calcul.

Chiar daca Azure prezinta o retea lidera in industrie, atat in ​​ceea ce priveste randamentul, cat si latenta, transferul inutil de date in reteaua respectiva este inca costisitor pentru performanta aplicatiei. Prin filtrarea datelor nedorite in timpul cererii de stocare, accelerarea interogarii elimina acest cost.

In plus, incarcarea procesorului care este necesara pentru a analiza si filtra datele inutile necesita ca aplicatia dvs. sa furnizeze un numar mai mare si masini virtuale mai mari pentru a-si putea face treaba. Prin transferarea acestei incarcari de calcul catre accelerarea interogarii, aplicatiile pot realiza economii semnificative de costuri.

Aplicatii care pot beneficia de accelerarea interogarilor

Accelerarea interogarilor este conceputa pentru cadrele analitice distribuite si aplicatiile de prelucrare a datelor.

Cadrele analitice distribuite, cum ar fi Apache Spark si Apache Hive, includ un strat de abstractizare a stocarii in cadrul. Aceste motoare includ, de asemenea, optimizatori de interogare care pot incorpora cunostinte despre capacitatile serviciului I / O care stau la baza atunci cand se determina un plan de interogare optim pentru interogarile utilizatorilor. Aceste cadre incep sa integreze accelerarea interogarilor. Ca urmare, utilizatorii acestor cadre vor vedea o latenta a interogarilor imbunatatita si un cost total de proprietate mai mic, fara a fi nevoie sa faca modificari la interogari.

Accelerarea interogarilor este conceputa si pentru aplicatiile de prelucrare a datelor. Aceste tipuri de aplicatii efectueaza de obicei transformari de date la scara larga care s-ar putea sa nu conduca direct la informatii analitice, astfel incat sa nu foloseasca intotdeauna cadrele analitice distribuite stabilite. Aceste aplicatii au adesea o relatie mai directa cu serviciul de stocare subiacent, astfel incat sa poata beneficia direct de functii precum accelerarea interogarii.

Pentru un exemplu despre modul in care o aplicatie poate integra accelerarea interogarii, consultati Filtrarea datelor utilizand accelerarea interogarii Azure Data Lake Storage.

Preturi

Datorita incarcarii de calcul crescute in cadrul serviciului Azure Data Lake Storage, modelul de tarifare pentru utilizarea accelerarii interogarii difera de modelul normal de tranzactii Azure Data Lake Storage. Accelerarea interogarii percepe un cost pentru cantitatea de date scanate, precum si un cost pentru cantitatea de date returnate apelantului. Pentru mai multe informatii, consultati Tarifarea Azure Data Lake Storage Gen2.

In ciuda modificarii modelului de facturare, modelul de stabilire a preturilor pentru accelerarea interogarilor este conceput pentru a reduce costul total de proprietate pentru o sarcina de munca, avand in vedere reducerea costurilor mult mai scumpe ale VM.

Pasii urmatori

• Filtreaza datele utilizand accelerarea interogarii Azure Data Lake Storage
• Referinta de limbaj SQL pentru accelerarea interogarilor