Komponenter

Databaseleverandører Tilføj Googles MapReduce

Anonim

Greenplum og Aster Data Systems, to startups involveret i stor skala dataanalyse, annoncerede i denne uge, at deres produkter vil understøtte MapReduce, en programmeringsteknik, der oprindeligt blev udviklet af Google til parallelbehandling af store datasæt på tværs af råvarehardware.

Softwareudviklere har en tendens til at være mere komfortable med sprog som Java og C ++ end database sprog SQL, sagde Mayank Bawa, medstifter og CEO for Aster, maker af et klynge databasesystem, der opdeler arbejdsbyrder i flere diskrete niveauer.

"De fleste udviklere kæmper med nuancerne for at lave en database danse godt i deres retninger" skrev i et blogindlæg. "En SQL maestro er faktisk forpligtet til at udføre interessante forespørgsler til datatransformationer (under ETL-behandling eller Extract-Load-Transform-behandling) eller dataudvinding (under analyse)."

Indtast MapReduce, hvis formål var at give en "trivielt paralleliserbare rammer, så selv begavede udviklere (aka praktikanter) kunne skrive programmer på en række sprog (Java / C / C ++ / Perl / Python) til at analysere data uafhængig af skalaen," skrev Bawa.

I mellemtiden Greenplum, maker af en database, der siger, kan skala til en petabyte af information, sagde i denne uge, at en MapReduce-ramme vil være en del af sin dataflow-motor i september.

De to meddelelser bragte en godkendelse fra en nær observatør af databasen verden.

"MapReduce kan i sig selv gøre en masse vigtige arbejder inden for data manipulation og analyse. Integration med SQL bør bare øge dets anvendelighed og magt", skrev Curt Monash fra Monash Research på DBMS2 bloggen.

"MapReduce er ikke nødvendig for tabu lar datastyring. Det er blevet effektiviseret parallelt på andre måder, "tilføjede han." Men hvis du vil bygge ikke-tabulære strukturer som tekstindekser eller grafer, viser MapReduce sig at være en stor hjælp. "