Twitter nu mai intretine acest proiect si nu raspunde la probleme sau PR-uri.

FlockDB este o baza de date cu grafice distribuite pentru stocarea listelor de adiacenta, cu scopul de a sprijini:

  • o rata mare de operatii de adaugare / actualizare / eliminare
  • set de interogari aritmetice potential complexe
  • paginarea prin seturi de rezultate ale interogarii care contin milioane de intrari
  • capacitatea de a „arhiva” si de a restabili ulterior marginile arhivate
  • scalare orizontala, inclusiv replicare
  • migrarea datelor online

Non-obiective includ:

  • interogari multi-hop (sau interogari grafice)
  • migratii automate de cioburi

FlockDB este mult mai simplu decat alte baze de date grafice, cum ar fi neo4j, deoarece incearca sa rezolve mai putine probleme. Se dimensioneaza orizontal si este proiectat pentru medii on-line, cu latenta redusa, cu randament ridicat, cum ar fi site-urile web.

Twitter foloseste FlockDB pentru a stoca grafice sociale (cine urmareste pe cine, cine blocheaza pe cine) si indici secundari. Incepand cu aprilie 2010, clusterul Twitter FlockDB stocheaza peste 13 miliarde de margini si sustine un trafic maxim de 20k scrieri / secunda si 100k citiri / secunda.

Daca, de exemplu, stocati un grafic social (utilizatorul A urmeaza utilizatorul B) si nu este neaparat simetric (A poate urma B fara B dupa A), atunci FlockDB poate stoca relatia respectiva ca o margine: nodul A indica spre nodul B. Stocheaza aceasta margine cu o pozitie de sortare si in ambele directii, astfel incat sa poata raspunde la intrebarea „Cine urmeaza A?” precum si „Pe cine urmareste A?”

Aceasta se numeste grafic directionat. (Din punct de vedere tehnic, FlockDB stocheaza listele de adiacenta ale unui grafic directionat.) Fiecare margine are un ID sursa pe 64 de biti, un ID de destinatie pe 64 de biti, o stare (normala, eliminata, arhivata) si o pozitie pe 32 de biti utilizata pentru sortare. . Marginile sunt stocate atat in ​​directia inainte, cat si inapoi, ceea ce inseamna ca o margine poate fi interogata fie pe baza sursei, fie a destinatiei.

De exemplu, daca nodul 134 indica nodul 90 si pozitia sa de sortare este 5, atunci exista doua randuri scrise in magazinul de suport:

inainte: 134 -> 90 in pozitia 5 inapoi: 90 <- 134 in pozitia 5

Daca stocati un grafic social, graficul poate fi numit „urmator” si puteti utiliza ora curenta ca pozitie, astfel incat o lista de adepti sa fie in ordine recenta. In acest caz, daca utilizatorul 134 este Nick, iar utilizatorul 90 este Robey, atunci FlockDB poate stoca:

inainte: Nick il urmareste pe Robey la 9:54 azi inapoi: Robey este urmat de Nick la 9:54 astazi

(Sursa, destinatie) trebuie sa fie unic: doar o margine poate indica de la nodul A la nodul B, dar pozitia si starea pot fi modificate in orice moment. Pozitia este utilizata numai pentru sortarea rezultatelor interogarilor, iar starea este utilizata pentru a marca marginile care au fost eliminate sau arhivate (plasate in somn rece).

In teorie, construirea este la fel de simpla ca si

$ sbt clean update package-dist

dar exista cateva premise. Ai nevoie:

Daca nu ati mai folosit sbt, aceasta pagina are o configurare rapida: http://code.google.com/p/simple-build-tool/wiki/Setup. ~ / Bin / sbt-ul meu arata astfel:

#! / bin / bash java -server -XX: + CMSClassUnloadingEnabled -XX: MaxPermSize = 256m -Xmx1024m -jar `dirname $ 0` / sbt-launch-0.7.4.jar” $ @ ”

Apache Thrift 0.5.0 este o conditie prealabila pentru construirea jub-urilor java ale IDL Thrift. Nu poate fi instalat prin jar, deci va trebui sa-l instalati separat inainte de a construi. Poate fi gasit pe site-ul apache thrift: http://thrift.apache.org/. Puteti gasi descarcarea pentru 0.5.0 aici: http://archive.apache.org/dist/incubator/thrift/0.5.0-incubating/.

In plus, testele necesita o instanta locala mysql pentru a fi rulata, iar pentru DB_USERNAME si DB_PASSWORD env vars sa contina informatii de conectare pentru aceasta. Puteti sari peste teste daca doriti (dar ar trebui sa simtiti un sentiment de vinovatie):

$ NO_TESTS = 1 sbt pachet-dist

Consultati demo-ul pentru instructiuni despre cum sa porniti o instanta de dezvoltare locala a FlockDB. De asemenea, arata cum sa adaugati margini, sa le interogati etc.

  • Twitter: #flockdb
  • IRC: #twinfra pe freenode (irc.freenode.net)
  • Lista de distributie: [email protected] abonati-va
  • Nick Kallen @nk
  • Robey Pointer @robey
  • John Kalucki @jkalucki
  • Ed Ceaser @asdf

ARTICOLE SIMILAREDE LA ACELAȘI AUTOR