xmlking / nifi-exemple

Fluxurile de exemplu Apache NiFi.

colecta-flux-jurnale

Acest flux arata fluxul de lucru pentru colectarea, agregarea, stocarea si afisarea jurnalelor.

1. Ingereaza jurnalele din dosare.
2. Ascultati syslogs pe portul UDP.
3. Imbinati jurnalele de sistem si jurnalele drop-in si persistati jurnalele imbinate in Solr pentru cautare istorica.
4. Tablou de bord: transmiteti in timp real evenimente de jurnal in tabloul de bord si activati cautarea cu filtre incrucisate in datele istorice ale jurnalelor.

iot-activity-tracker

Acest flux arata cum sa introduceti datele IoT in Enterprise.

1. Ingereaza date IoT prin WebSocket si HTTP
2. Stocati toate datele in Hadoop (HDFS) si datele rezumate in NoSQL (MarkLogic) pentru cautarea istorica a datelor.
3. Treceti datele pe baza unor praguri prestabilite (semne vitale precum pulsul si tensiunea arteriala) pentru a alerta utilizatorii si medicii.
4. Raportarea inactivitatii

oltp-to-olap

O latenta redusa Schimba fluxul de captare a datelor pentru a reproduce continuu datele din sistemele OLTP (MySQL) in sistemele OLAP (NoSQL) fara impact asupra sursei.

1. Multi-chirias: poate contine date din mai multe baze de date diferite, poate sustine mai multi consumatori.
2. CDC flexibil: capturati modificarile din multe surse si tipuri de date.
   1. Conservarea consistentei sursei. Fara impact asupra sursei.
   2. Atat DML (INSERT / UPDATE / DELETE), cat si DDL (ALTER / CREATE / DROP) sunt capturate neinvaziv.
   3. Produceti inregistrari de modificare logica (LCR) in format JSON.
   4. Angajarile la sursa sunt grupate in functie de tranzactie.
3. Fluxuri flexibile de date pentru consumatori: fluxurile de date pentru consumatori pot fi implementate in Apache NiFi, Flink, Spark sau Apex
   1. Filtrarea, transformarea si incarcarea datelor in paralel.
4. Databus flexibil: stocati LCR-uri in fluxuri Kafka pentru durabilitate si semantica pub-sub.

   españolas calientes me follo a mi vecina
   video famosas desnudas descargar peliculas porno completas
   madura cabalgando tangas xxx
   chuponas maduros en pajilleros
   cornudos consentidos nonude model
   www rubias españolas follando por dinero
   porno españa casero maduras españolas amater
   creampie abuelas viejas mexicanas follando
   porno amateur hd porno en cine convencional
   pollones enormes miriam sanchez videos porno
   padre enseña a follar a su hija porno gay cerdo
   intercambio parejas amateur revistas xxx
   abuela enculada necrofilia xxx
   follada por su jefe tetas saltarinas
   porno gratis abuelos feet hentai
   follando con la abuela follada en tanga
   follando con mi amante porno friki
   pelis porno francesas vidio xxxx
   porno hoy paja en publico
   masajes eroticos camara oculta porno violacion gay

   1. Folositi doar Kafka ca intrare pentru toate fluxurile de date ale consumatorilor.
   2. Alimentati datele catre mai multe tipuri de clienti (in timp real, lent / recuperat, bootstrap complet).
   3. Consumul dintr-un punct de timp arbitrar in fluxul de schimbare, inclusiv capacitatea de bootstrap completa a intregii date.
   4. Livrare garantata in comanda si cel putin o data.
   5. Consum partitionat (date partitionate la diferite subiecte Kafka pe baza numelui bazei de date, a tabelului sau a oricarui camp al LCR)
5. Atat livrarea in lot, cat si aproape in timp real.

csv-to-json

Acest flux arata cum sa convertiti o intrare CSV intr-un document JSON utilizand ExtractText si ReplaceText.

decompresie

Acest flux demonstreaza preluarea unei arhive care este creata cu mai multe niveluri de compresie si apoi decomprimarea continua folosind o bucla pana cand fisierul arhivat este extras.

http-get-route

fluxul sau trage dintr-un serviciu web (exemplu este nifi in sine), extrage text dintr-o sectiune specifica, ia o decizie de rutare cu privire la acea valoare extrasa, se pregateste sa scrie pe disc folosind PutFile.

invoca-http-ruta

Acest flux demonstreaza cum sa apelati un serviciu HTTP bazat pe un FlowFile de intrare si sa directionati FlowFile original pe baza codului de stare returnat de la invocatie. In acest exemplu, la fiecare 30 de secunde este produs un FlowFile, un atribut este adaugat la FlowFile care seteaza q = nifi, google.com este invocat pentru acel FlowFile si orice raspuns cu un 200 este directionat catre o relatie numita 200.

reincercati-conta-bucla

Acest grup de proces poate fi utilizat pentru a mentine un numar de cate ori o parcurge un fisier de flux. Daca atinge un anumit prag configurat, va trece la o relatie „Limit Exceeded”, altfel va trece la „reincercati”. Excelent pentru procesele pe care doriti sa le rulati de X de cateva ori inainte de a renunta.

split-route

Acest flux demonstreaza impartirea unui fisier pe limitele liniei, directionarea impartirilor pe baza unei regexuri in continut, fuzionarea fisierelor mai putin importante impreuna pentru stocare undeva si trimiterea fisierelor cu prioritate superioara pe o alta cale pentru a actiona imediat.

twitter-furtun-gradina

Acest flux trage de la Twitter folosind setarea furtunului de gradina; scoate cateva atribute de baza din Json si apoi directioneaza numai acele elemente care sunt de fapt tweets.

twitter-solr

Acest flux arata cum sa indexati tweet-urile cu Solr folosind NiFi. Cerintele prealabile pentru acest flux sunt NiFi 0.3.0 sau o versiune ulterioara, crearea unei aplicatii Twitter si o instanta care ruleaza Solr 5.1 sau o versiune ulterioara cu o colectie de tweets:

Instalati NiFi

1. Manual: Descarcati binele Apache NiFi si despachetati-le intr-un folder.
2. Pe Mac: instalati fisierul nifi

Rulati NiFi

Pe Mac