Creati declansatoare de ferestre in Azure Data Factory – Azure Data Factory

• 25/10/2020
• 8 minute de citit

In acest articol

SE APLICA: Azure Data Factory Azure Synapse Analytics

Acest articol ofera pasi pentru a crea, porni si monitoriza un declansator de fereastra. Pentru informatii generale despre declansatoare si tipurile acceptate, consultati Executarea conductelor si declansatoarele.

Declansatoarele ferestrei de declansare sunt un tip de declansator care se declanseaza la un interval de timp periodic de la o ora de pornire specificata, pastrand in acelasi timp starea. Ferestrele care se prabusesc sunt o serie de intervale de timp de dimensiuni fixe, care nu se suprapun si contigue. Un declansator de fereastra care se prabuseste are o relatie unu-la-unu cu o conducta si poate face referire doar la o conducta singulara. Declansatorul ferestrei de cadere este o alternativa mai mare pentru declansatorul de programare, oferind o suita de caracteristici pentru scenarii complexe (dependenta de alte declansatoare de ferestre de cadere, relansarea unei lucrari esuate si setarea reincercarii utilizatorului pentru conducte). Pentru a intelege in continuare diferenta dintre declansatorul de programare si declansatorul ferestrei, va rugam sa vizitati aici.

Interfata de utilizare a fabricii de date

1. Pentru a crea un declansator de fereastra in interfata de utilizare a fabricii de date, selectati fila Declansatoare , apoi selectati Nou .
2. Dupa ce se deschide panoul de configurare a declansatorului, selectati Fereastra de derulare , apoi definiti proprietatile declansatorului de fereastra de derulare.
3. Cand ati terminat, selectati Salvare .

Proprietatile tipului declansatorului ferestrei

O fereastra care se rastoarna are urmatoarele proprietati de tip declansator:

{“name”: “MyTriggerName”, “properties”: {“type”: “TumblingWindowTrigger”, “runtimeState”: “<< Started / Stopped / Disabled – readonly >>”, “typeProperties”: {“frequency”: < <Minut / ora >>, “interval”: <<int>>, “startTime”: “<<datetime>>”, “endTime”: << datetime – optional >>, “intarziere”: << interval de timp – optional >>, “maxConcurrency”: <<int>> (obligatoriu, maxim permis: 50), “retryPolicy”: {“count”: << int – optional, implicit: 0 >>, “intervalInSeconds”: <<int> >,}, “depindeOn”: [{“type”: “TumblingWindowTriggerDependencyReference”, “size”:<< timespan – optional >>, “offset”: << timespan – optional >>, “referenceTrigger”: {“referenceName”: “MyTumblingWindowDependency1”, “type”: “TriggerReference”}}, {“type”: “SelfDependencyTumblingWindowTriggerReference “,” size “: << timespan – optional >>,” offset “: <<timespan>>}]},” pipeline “: {” pipelineReference “: {” type “:” PipelineReference “,” referenceName “:” MyPipelineName “},” parameters “: {” parameter1 “: {” type “:” Expression “,” value “:” @ {concat (‘output’, formatDateTime (trigger (). Outputs.windowStartTime, ‘- dd-MM -yyyy-HH-mm-ss-ffff ‘))} “},” parametru2 “:{“type”: “Expression”, “value”: “@ {concat (‘output’, formatDateTime (trigger (). outputs.windowEndTime, ‘- dd-MM-aaaa-HH-mm-ss-ffff’)) } “},” parametru3 “:” https://mydemo.azurewebsites.net/api/demoapi “}}}}

Urmatorul tabel ofera o imagine de ansamblu la nivel inalt a principalelor elemente JSON care sunt legate de recurenta si planificare a unui declansator de fereastra:

Element JSON Descriere Tip Valori permise Tipul necesar Tipul declansatorului. Tipul este valoarea fixa ​​„TumblingWindowTrigger”. Sir „TumblingWindowTrigger” Da runtimeState Starea curenta a duratei de rulare a declansatorului.

Nota : Acest element este <citire numai>. Sirul „Inceput”, „Oprit”, „Dezactivat” Da frecventa Un sir care reprezinta unitatea de frecventa (minute sau ore) la care apare declansatorul. Daca valorile datei StartTime sunt mai granulare decat valoarea frecventei , datele StartTime sunt luate in considerare atunci cand se calculeaza limitele ferestrei. De exemplu,valoarea este 2017-09-01T10: 10: 10Z, prima fereastra este (2017-09-01T10: 10: 10Z, 2017-09-01T11: 10: 10Z). Sir „minut”, „ora” Da interval Un intreg pozitiv care denota intervalul pentru valoarea frecventei , care determina cat de des se executa declansatorul. De exemplu, daca intervalul este 3 si frecventa este „ora”, declansatorul se repeta la fiecare 3 ore.

Nota : Intervalul minim de fereastra este de 5 minute. Intreg Un numar intreg pozitiv. Da startTime Prima aparitie, care poate fi in trecut. Primul interval de declansare este ( startTime , startTime + interval ). DateTime O valoare DateTime. Da endTimeUltima aparitie, care poate fi in trecut. DateTime O valoare DateTime. Da intarziere Cantitatea de timp pentru intarzierea inceperii procesarii datelor pentru fereastra. Rularea conductei este pornita dupa timpul de executie preconizat plus cantitatea de intarziere . Intarziere defineste cat asteapta de declansare a trecut timp util , inainte de declansarea unui nou ciclu. Intarziere nu modifica fereastra STARTTIME . De exemplu, o valoare de intarziere de 00:10:00 implica o intarziere de 10 minute. Interval de timp

(hh: mm: ss) O ​​valoare a intervalului de timp in care valoarea implicita este 00:00:00. Fara maxConcurrencyNumarul de declansari simultane care se declanseaza pentru ferestrele gata. De exemplu, pentru a umple inapoi rularile orare pentru ieri rezulta 24 de ferestre. Daca maxConcurrency = 10, evenimentele declansatoare sunt declansate numai pentru primele 10 ferestre (00: 00-01: 00 – 09: 00-10: 00). Dupa ce primele 10 rulari de conducte declansate sunt complete, declansarile de declansare sunt declansate pentru urmatoarele 10 ferestre (10: 00-11: 00 – 19: 00-20: 00). Continuand cu acest exemplu de maxConcurrency = 10, daca exista 10 ferestre pregatite, exista 10 rulari totale de conducte. Daca exista doar 1 fereastra pregatita, exista doar 1 rulare de conducte. Intreg Un intreg intre 1 si 50. Da retryPolicy: Count Numarul de reincercari inainte de executarea conductei este marcat ca „Esuat”. Un intreg Un intreg, unde valoarea implicita este 0 (fara reincercari).retryPolicy: intervalInSeconds Intarzierea dintre incercarile de reincercare specificata in secunde. Numar intreg Numarul de secunde, unde valoarea implicita este 30. Nu depinde de: tastati tipul TumblingWindowTriggerReference. Necesar daca este setata o dependenta. Sirul “TumblingWindowTriggerDependencyReference”, “SelfDependencyTumblingWindowTriggerReference” Nu depinde: dimensiune Dimensiunea ferestrei de tombling de dependenta. Interval de timp

(hh: mm: ss) O ​​valoare de interval de timp pozitiva in care valoarea implicita este dimensiunea ferestrei declansatorului copil Nu depinde: offset Decalajul declansatorului de dependenta. Perioada de timp

(hh: mm: ss) O ​​valoare a perioadei de timp care trebuie sa fie negativa intr-o dependenta de sine. Daca nu este specificata nicio valoare, fereastra este aceeasi cu declansatorul in sine. Autodependenta: Da

Altele: Nu

WindowStart si WindowEnd variabile de sistem

Puteti utiliza WindowStart si WindowEnd variabilele de sistem ale rostogolea de declansare fereastra dvs. de conducte definitie (adica, pentru o parte dintr – o interogare). Treceti variabilele de sistem ca parametri la conducta dvs. in definitia declansatorului . Urmatorul exemplu va arata cum sa treceti aceste variabile ca parametri:

{“name”: “MyTriggerName”, “properties”: {“type”: “TumblingWindowTrigger”, … “pipeline”: {“pipelineReference”: {“type”: “PipelineReference”, “referenceName”: “MyPipelineName” }, “parameters”: {“MyWindowStart”: {“type”: “Expression”, “value”: “@ {concat (‘output’, formatDateTime (trigger (). outputs.windowStartTime, ‘- dd-MM-aaaa) -HH-mm-ss-ffff ‘))} “},” MyWindowEnd “: {” type “:” Expression “,” value “:” @ {concat (‘ output ‘, formatDateTime (trigger (). Outputs.windowEndTime , ‘- zz-MM-aaaa-HH-mm-ss-ffff’))} “}}}}}

Pentru a utiliza WindowStart si WindowEnd valorile variabile de sistem in definitia de conducte, utilizati dvs. „MyWindowStart“ si parametrii „MyWindowEnd“, in consecinta.

Ordinea de executare a ferestrelor intr-un scenariu de completare

Daca startTime de declansare este in trecut, atunci pe baza acestei formule, M = (CurrentTime- TriggerStartTime) / TumblingWindowSize, declansatorul va genera {M} backfill (trecut) ruleaza in paralel, onorand simultanitatea declansatorului, inainte de a executa viitoarele rulari. . Ordinea de executie pentru ferestre este determinista, de la cele mai vechi la cele mai noi intervale. In prezent, acest comportament nu poate fi modificat.

Elemente TriggerResource existente

Urmatoarele puncte se aplica actualizarii elementelor TriggerResource existente :

• Valoarea pentru elementul de frecventa (sau dimensiunea ferestrei) a declansatorului impreuna cu elementul interval nu poate fi modificata odata ce declansatorul este creat. Acest lucru este necesar pentru functionarea corecta a relansarilor triggerRun si a evaluarilor dependentei
• Daca valoarea pentru elementul endTime al declansatorului se modifica (adaugata sau actualizata), starea ferestrelor care sunt deja procesate nu se reseteaza. Declansatorul onoreaza noua valoare endTime . Daca noua valoare endTime este inaintea ferestrelor care sunt deja executate, declansatorul se opreste. In caz contrar, declansatorul se opreste cand se intalneste noua valoare endTime .

Utilizatorul a alocat reincercari de conducte

In caz de esecuri ale conductei, declansatorul ferestrei de rotatie poate reincerca automat executarea conductei de referinta, utilizand aceiasi parametri de intrare, fara interventia utilizatorului. Acest lucru poate fi specificat folosind proprietatea “retryPolicy” in definitia declansatorului.

Fereastra deranjanta declanseaza dependenta

Daca doriti sa va asigurati ca un declansator de fereastra de derulare este executat numai dupa executarea cu succes a unui alt declansator de fereastra de derulare in fabrica de date, creati o dependenta de declansare a ferestrei de derulare.

Anulati rularea ferestrei

Puteti anula rularile pentru un declansator de fereastra, daca fereastra specifica este in asteptare , in asteptare in functie de dependenta sau in stare de functionare

• Daca fereastra este in stare de functionare , anulati Pipeline Run- ul asociat , iar declansarea va fi marcata ca anulata dupa aceea
• Daca fereastra este in asteptare sau in asteptare in functie de dependenta , puteti anula fereastra din Monitorizare:

De asemenea, puteti rula din nou o fereastra anulata. Rulati din nou va lua cele mai recente definitii publicate de declansare, si a dependentelor pentru fereastra specificata va fi reevaluata la reluare

Exemplu pentru Azure PowerShell

Aceasta sectiune va arata cum sa utilizati Azure PowerShell pentru a crea, porni si monitoriza un declansator.

1. Creati un fisier JSON numit MyTrigger.json in folderul C: \ ADFv2QuickStartPSH \ cu urmatorul continut:

   Important

   Inainte de a salva fisierul JSON, setati valoarea elementului startTime la ora UTC curenta. Setati valoarea elementului endTime la o ora dupa ora UTC curenta.

   {“name”: “PerfTWTrigger”, “properties”: {“type”: “TumblingWindowTrigger”, “typeProperties”: {“frequency”: “Minute”, “interval”: “15”, “startTime”: “2017- 09-08T05: 30: 00Z “,” delay “:” 00:00:01 “,” retryPolicy “: {” count “: 2,” intervalInSeconds “: 30},” maxConcurrency “: 50},” pipeline “: {“pipelineReference”: {“type”: “PipelineReference”, “referenceName”: “DynamicsToBlobPerfPipeline”}, “parameters”: {“windowStart”: “@trigger (). outputs.windowStartTime”, “windowEnd”: “@trigger () .outputs.windowEndTime “}},” runtimeState “:” Started “}}

2. Creati un declansator utilizand cmdletul Set-AzDataFactoryV2Trigger :

   Set-AzDataFactoryV2Trigger -ResourceGroupName $ ResourceGroupName -DataFactoryName $ DataFactoryName -Name “MyTrigger” -DefinitionFile “C: \ ADFv2QuickStartPSH \ MyTrigger.json”

3. Confirmati ca starea declansatorului este oprita utilizand cmdletul Get-AzDataFactoryV2Trigger :

   Get-AzDataFactoryV2Trigger -ResourceGroupName $ ResourceGroupName -DataFactoryName $ DataFactoryName -Name “MyTrigger”

4. Porniti declansatorul utilizand cmdlet -ul Start-AzDataFactoryV2Trigger :

   Start-AzDataFactoryV2Trigger -ResourceGroupName $ ResourceGroupName -DataFactoryName $ DataFactoryName -Name “MyTrigger”

5. Confirmati faptul ca starea de declansare este inceput prin utilizarea Get-AzDataFactoryV2Trigger cmdlet:

   Get-AzDataFactoryV2Trigger -ResourceGroupName $ ResourceGroupName -DataFactoryName $ DataFactoryName -Name “MyTrigger”

6. Obtineti declansarile in Azure PowerShell utilizand cmdletul Get-AzDataFactoryV2TriggerRun . Pentru a obtine informatii despre declansarile, executati urmatoarea comanda periodic. Actualizati valorile TriggerRunStartedAfter si TriggerRunStartedBefore pentru a se potrivi cu valorile din definitia declansatorului:

   Get-AzDataFactoryV2TriggerRun -ResourceGroupName $ ResourceGroupName -DataFactoryName $ DataFactoryName -TriggerName “MyTrigger” -TriggerRunStartedAfter “2017-12-08T00: 00: 00” -TriggerRunStartedBefore “2017-12-08T0

Pentru a monitoriza declansarile si rularile de conducte in portalul Azure, consultati Monitorizarea rularilor de conducte.

Pasii urmatori

• Pentru informatii detaliate despre declansatoare, consultati Executarea conductelor si declansatoarele.
• Creati o fereastra de declansare a declansarii dependentei.
• Aflati cum sa faceti referinta la declansarea metadatelor in conducta, consultati Metadatele declansatorului de referinta in rulari de conducte