Android

Amazon Automatiserer Hadoop Brug til Udviklere

Hadoop Automation Multi Node Cluster on Amazon EC2

Hadoop Automation Multi Node Cluster on Amazon EC2
Anonim

Amazon.com har lanceret en hosted service designet til at forenkle udviklere anvendelsen af ​​Hadoop implementeringen af ​​MapReduce programmeringsmodellen til behandling af store datasæt i processorklynger.

Called Amazon Elastic MapReduce, cloud computing-tjenesten er rettet mod udviklere hvis applikationer skal knuse store mængder data, for hvilke Hadoop er ideelt.

Med Amazon Elastic MapReduce er mange opgaver, som udviklere skal håndtere manuelt relateret til Hadoop, automatiseret, selskabets Amazon Web Services (AWS) cloud computing division sagde i en officiel blog torsdag.

[Yderligere læsning: De bedste tv-streamingtjenester]

"Ved hjælp af Elastic MapReduce kan du oprette, køre, overvåge og kontrollere Hadoop-job med let og smidigt. Du behøver ikke at gå ud og køber scads af hardware. Du behøver ikke at rakke det, netværk det eller administrere det. Du behøver ikke bekymre dig om at løbe tør for ressourcer eller dele dem med andre medlemmer af din organisation. Du behøver ikke at overvåge det, indstille det eller bruge tid på at opgradere systemet eller applikationssoftwaren på det, siger blogpostningen.

AWS besluttede at oprette denne tjeneste efter at have lært, at kunderne kører Hadoop-job på Amazon Elastic Compute Cloud (EC2) -tjeneste, der giver hosted computerkapacitet. Da Hadoop bliver stadig mere populær, har Amazon til formål at gøre det lettere for andre udviklere at udnytte denne open source-implementering af MapReduce.

Elastic MapReduce virker sammen med EC2 og Amazon Simple Storage Service (S3) hosted storage cloud service. "Elastic MapReduce automatiserer automatisk en Hadoop-implementering af MapReduce-rammen på Amazon EC2-forekomster, der opdeler dataene i en jobflow i mindre klumper, så de kan være behandlet - 'kort'-funktionen - parallelt og til sidst rekombinere de behandlede data i den endelige løsning - funktionen' reducere '. Amazon S3 tjener som kilde til de data, der analyseres, og som udgangsdestination for slutresultatet "ifølge en særskilt beskrivelse af tjenesten.

Som med andre AWS-cloud services, betaler Amazon for Elastic MapReduce baseret på dets brug, uden minimumsafgift.