Functia de vizualizari materializate Amazon Redshift va ajuta sa obtineti performante de interogare semnificativ mai rapide pe sarcini de lucru repetate sau previzibile, cum ar fi interogarile de pe tabloul de bord din instrumentele Business Intelligence (BI), cum ar fi Amazon QuickSight. De asemenea, accelereaza si simplifica prelucrarea datelor, extragerea, incarcarea si transformarea (ELT). Puteti utiliza vizualizari materializate pentru a stoca precomputatii utilizate frecvent si le puteti utiliza perfect pentru a obtine o latenta mai mica la interogarile ulterioare analitice.

Aceasta postare arata cum sa creati o vizualizare materializata, sa o reimprospatati dupa ingestia de date si sa va accelerati volumul de lucru BI.

Configurarea seturilor de date esantion

Aceasta prezentare generala utilizeaza setul de date Amazon Customer Reviews. Este un set de date public stocat in regiunea us-est-1. Veti crea urmatoarele trei tabele:

  • product_reviews – Contine recenzii ale clientilor pentru un anumit produs
  • client – Contine date despre profilul clientului
  • customer_address – Contine informatii despre adresa clientului

Urmatoarea diagrama arata relatia celor trei tabele.

Pentru a descarca scriptul si a configura tabelele, alegeti mv_blog.sql.

Crearea si utilizarea vizualizarilor materializate

Pentru acest caz de utilizare, echipa dvs. de marketing doreste sa creeze un raport care sa arate cati clienti pe stat, cum ar fi produsele dvs. De asemenea, doriti sa detaliati fiecare categorie de produse atunci cand este necesar.

In acest prim pas, creati o vizualizare obisnuita. Vezi urmatorul cod:

CREATE VIEW v_reviews_byprod_and_state AS SELECT PR.product_category, A.ca_state AS customer_state, count (PR.star_rating) AS cnt FROM product_reviews PR, client C, customer_address A WHERE PR.customer_id = C.c_customer_sk AND C.c_current_addr_sk = A.ca .marketplace = GRUPUL „SUA” CU 1, 2;

Urmatorul cod este un raport pentru a analiza numarul de recenzii de produse pe fiecare stat:

SELECT client_state, sum (cnt) FROM v_reviews_byprod_and_state GROUP BY 1 ORDER BY 2;

Urmatorul cod este un raport pentru a analiza numarul de recenzii de produse pe fiecare stat pentru anumite categorii:

SELECTIONEAZA customer_state, sum (cnt) FROM v_reviews_byprod_and_state WHERE product_category IN („Acasa”, „Bacanie”) GRUPA CU 1 COMANDA CU 2;

Executarea rapoartelor precedente dureaza aproximativ 4 secunde. Pe masura ce vindeti mai multe produse si primiti mai multe recenzii, acest timp scurs devine treptat mai lung. Pentru a accelera rapoartele respective, puteti crea o vizualizare concretizata pentru a precomputa numarul de recenzii pe categorie de produse si pe stat. Vezi urmatorul cod:

CREATI VIZUALIZARE MATERIALIZATA mv_reviews_byprod_and_state AS SELECT PR.product_category, A.ca_state AS customer_state, count (PR.star_rating) AS cnt FROM product_reviews PR, client C, customer_address A WHERE PR.customer_id = C.c_customer_sk AND C.__current_add PR.marketplace = GRUPUL „SUA” CU 1, 2;

Urmatorul cod reprezinta rapoartele pentru a analiza revizuirea produsului in raport cu vizualizarea concretizata.

SELECT client_state, sum (cnt) FROM mv_reviews_byprod_and_state GROUP BY 1 ORDER BY 2; SELECTIONEAZA customer_state, sum (cnt) FROM mv_reviews_byprod_and_state WHERE product_category IN („Acasa”, „Bacanie”) GRUPA CU 1 COMANDA CU 2;

Aceleasi rapoarte impotriva vizualizarilor materializate dureaza mai putin de 200 de milisecunde, deoarece noile interogari acceseaza imbinari precomputate, filtre, grupari si sume partiale in loc de tabelele de baza multiple, mai mari.

Accelerarea si simplificarea procesarii datelor ELT

Pentru a obtine performante similare fara a utiliza vizualizari materializate, multi utilizatori folosesc comanda CREATE TABLE AS (CTAS). Cu toate acestea, pe masura ce actualizati tabelele de baza cu noi insertii de date, actualizari sau stergeri, tabelele CTAS devin stari; trebuie sa le recreati pentru a le mentine la curent cu cele mai recente modificari din tabelele de baza. Acum, cu vizualizarile materializate Amazon Redshift, puteti depasi aceasta problema prin reimprospatarea eficienta si incrementala a vizualizarilor materializate cu SQL acceptat.

pprno sin bragas en la calle
me follo a mi tia porno rspañol
supertetas incestos gays
porno hablado español videos de lucio saints
maduras españolas sexo recopilacion pajas
lesbianas incesto venezolanas desnudas
pillados follando española viciosa
todoporno forzadas a follar
chochitos jovenes jovencitas pilladas masturbandose
sexo gratis incesto madre española follando con su hijo
p0rno shemalehd
pareja española follando vidio pirno
incesto xxx maduras lesbianas tetonas
viejas muy calientes abuela enculada
parejitas españolas follando pareja follando en la playa
tetona amateur xxxgay
peliculas porno de incesto gratis incestos jovencitas
xxx prostitutas mujeres fornicando
porno canario bbw abuelas
pajas trans madres que se follan a sus hijos

De exemplu, urmatorul cod include alte 10.000 de recenzii:

INSERT INTO product_reviews SELECT marketplace, cast (customer_id as bigint) customer_id, review_id, product_id, cast (product_parent as bigint) product_parent, product_title, star_rating, utile_votes, total_votes, vine, Verified_purchase, review_headline, review_body, review_date, year, product_categ. products_reviews WHERE review_date = ‘2015-07-01’ LIMIT 10000;

Acum vizualizarea materializata este depasita. Pentru a reimprospata vizualizarea materializata, introduceti urmatorul cod:

REFRESH MATERIALIZED VIEW mv_reviews_byprod_and_state;

In termen de 200 de milisecunde, vizualizarea materializata este din nou actualizata. Interogarile dvs. de raport au aceeasi performanta constanta si rapida.

Urmatoarea captura de ecran este jurnalul de interogari care arata performanta interogarii. Jurnalul afiseaza declaratii mai noi in partea de sus.

Actualizarea vizualizarilor materializate este mult mai rapida, deoarece este incrementala: Amazon Redshift foloseste noile date doar pentru a actualiza vizualizarea materializata in loc sa recompute din nou intreaga vizualizare materializata din tabelele de baza. Pentru mai multe informatii, consultati REFRESH MATERIALIZED VIEW.

Vizualizarile materializate simplifica si fac ELT mai usor si mai eficient. Fara vizualizari materializate, este posibil sa creati un job ELT si sa utilizati CTAS pentru a precomputa datele de analiza a produsului. Lucrarea ELT recalculeaza aceste date dupa ce sunt ingerate date noi si stocheaza datele in tabelul de analiza a produsului precomputat pentru a indeplini cerinta de latenta a tabloului de bord.

In special, jobul ETL scade si recreeaza tabelul de analiza precomputata a produsului dupa fiecare ingestie. Vezi urmatorul cod:

INCEPE; DROP TABLE IF EXISTS latest_product_analysis; CREATE TABLE latest_product_analysis as SELECT …; SFARSIT;

Cu vizualizari materializate, trebuie doar sa creati vizualizarea materializata o data si sa reimprospatati pentru a o mentine actualizata. Pentru a reimprospata vizualizarile materializate dupa ce ati ingerat date noi, adaugati REFRESH MATERIALIZED VIEW la scripturile de ingestie de date ELT. Redshift va actualiza automat si incremental vizualizarea materializata.

Obtinerea unei performante mai rapide pentru tablourile de bord BI

Puteti utiliza vizualizari materializate pentru a va ajuta echipa BI sa construiasca un tablou de bord pentru a analiza tendintele produsului.

De exemplu, pentru a crea o vizualizare concretizata pentru a va alatura tabelelor de dimensiuni client si adresa client si pentru a precomputa recenziile si evaluarile, introduceti urmatorul cod:

CREATE MATERIALIZED VIEW mv_product_analysis sortkey (product_category, Customer_State, review_date) AS SELECT PR.product_category, A.ca_state AS Customer_State, PR.review_date AS Review_Date, PR.product_title, COUNT (1) AS review_total, SUM (PR.star_ product_reviews PR, client C, customer_address A WHERE PR.customer_id = C.c_customer_sk AND C.c_current_addr_sk = A.ca_address_sk AND marketplace = ‘US’ GROUP BY 1,2,3,4;

Accesati vizualizari materializate la fel ca la un tabel obisnuit. Pentru aceasta prezentare generala, alegeti o vizualizare materializata ca sursa pentru un set de date Amazon QuickSight. Asa cum se arata in urmatoarea captura de ecran.

Puteti previzualiza datele vizualizarii materializate in Amazon QuickSight pentru a intelege ce informatii pot fi utilizate pentru a construi tabloul de bord. Urmatoarea captura de ecran arata datele esantionare ale mv_product_analysis.

Pentru a urmari cate recenzii posteaza clientii de-a lungul timpului, utilizati review_date ca axa X si Suma (review_total) ca axa Y. Urmatorul grafic prezinta aceasta vizualizare.

Urmatoarea captura de ecran arata un tablou de bord complet „Tendinta produsului” care analizeaza categoria de produse de top, popularitatea produsului in functie de stat si multe altele.

Deoarece utilizati vizualizari concretizate, tabloul de bord al tendintei produsului se incarca in cateva secunde si este intotdeauna actualizat. Puteti obtine cele mai recente informatii, puteti intelege comportamentul de cumparare al clientilor si puteti identifica oportunitati de afaceri si optimizari.

Puteti compara performanta vizualizarilor materializate cu alte alternative posibile, cum ar fi utilizarea vizualizarilor regulate si utilizarea CTAS. Urmatorul grafic prezinta executia generala a interogarii pentru tabloul de bord cu tendinta produsului. Vizualizarile materializate nu numai ca imbunatatesc performanta interogarii cu mai mult de un ordin de marime comparativ cu utilizarea unei vizualizari obisnuite, dar au si costuri de intretinere scazute in comparatie cu utilizarea unui CTAS, deoarece timpul de reimprospatare incremental este proportional cu delta modificarilor din tabelele de baza. In schimb, abordarea recrearii CTAS trebuie sa proceseze toate datele din tabelele de baza.

Urmatorul gif animat arata timpul real de raspuns pentru tabloul de bord cu tendinta produsului construit utilizand Amazon QuickSight in modul de interogare directa.

Concluzie

Aceasta postare a aratat cum sa creati vizualizari materializate Amazon Redshift cu una sau mai multe tabele de baza pentru a accelera atat interogarile BI, cat si ELT. Puteti construi si intretine cu usurinta conducte de procesare a datelor eficiente si extinde fara probleme avantajele de executie a interogarii cu latenta redusa a vizualizarilor materializate la analiza datelor.

despre autori

Juan Yu este un arhitect de solutii specializate in depozite de date la AWS.

Jose Kunnackal John este principalul manager de produs pentru Amazon QuickSight, serviciul BI nativ al AWS, gestionat complet in cloud . Jose si-a inceput cariera cu Motorola, scriind software pentru telecomunicatii si sisteme de prim-raspuns. Mai tarziu a fost director de inginerie la Trilibis Mobile, unde a construit o platforma web mobila SaaS folosind serviciile AWS. Jose este entuziasmat de potentialul tehnologiilor cloud si asteapta cu nerabdare sa ajute clientii in tranzitia lor catre cloud.

ARTICOLE SIMILAREDE LA ACELAȘI AUTOR