Cloudera Preps Hadoop for Enterprise

Cloudera har afsløret et nyt sæt Hadoop-styringsværktøjer, kaldet Cloudera Enterprise, at selskabet vil tilbyde til et årligt abonnementsgebyr, meddelte det tirsdag. Det har også opdateret sin open source distribution pakke af Hadoop.

Begge nye udgivelser, samt flere nye partnerskaber med udbydere af data management software leverandører, viser, at virksomheden er klar til at tilbyde den nye databaseteknologi - nu mest brugt af webgiganter som Google og Yahoo - til virksomhedsmarkedet som et alternativ til relationsdatabaser.

"Vores væddemål er ikke kun de store webfirmaer, men banker, hospitaler og forsikringsselskaber vil opdage, at de skal analysere komplekse og strukturerede data sammen, og Hadoop blev lavet til det, "sagde Cloudera CEO Mike Olson. "Hadoop løser et nyt problem på en ny måde."

Et af et voksende antal ikke-SQL- eller NoSQL-databaser, Hadoop er baseret på Google MapReduce, en ramme til behandling af data parallelt på tværs af et stort antal computere knuder. Hadoop, som nu udvikles som et open source-projekt af Apache Software Foundation, tilbyder et alternativ til traditionelle relationsdatabaser, i hvert fald de tilfælde, hvor der analyseres store, hurtigt skiftende datasæt.

Det kan fungere sammen med både SQL og ikke- -SQL data, og er mere modstandsdygtig over for serverfejl end relationelle databaser, siger Olson.

Cloudera er emballage Hadoop for midlevel-organisationer, både med Hadoop-distributionen og det nyudgivne sæt af styringsværktøjer. Begge pakker skal tillade organisationer uden en masse teknisk erfaring i Hadoop at køre softwaren, sagde Olson. "Der er denne myte, som Hadoop er brugbar, hvis du har Google-skalerede data. Der er mange brugere, der kun har få terabyte data, som de ønsker at analysere," sagde Olson.

Cloudera's Distribution for Hadoop (CDH) er en open source-pakke af præintegrerede softwareprogrammer bygget omkring Hadoop Common, tidligere kaldet Hadoop Core. Pakken indeholder: Hive, som giver en data warehouse infrastruktur; HBase, den database, der ligger til grund for Hadoop; Svin, en kompilator til kort-reducere programmer; Zookeper, en planlægning for at køre applikationer på tværs af flere servere og MapReduce.

I den nyligt udgivne version 3 indeholder pakken tre programmer, som virksomheden har udgivet som open source-projekter, under Apache V2 open source-licensen. Den ene er Flume, som kan hjælpe med at indlæse data i Hadoop. En anden ny tilføjelse er Oozie, som er en workflow management software. Den sidste er Hadoop User Environment (HUE) -koden, som giver en brugergrænseflade til administration af Hadoop.

"HUE gør det muligt for alle at bygge en applikation målrettet mod analytikere. Den ved, hvordan man snakker med Hadoop-klyngerne," sagde Olson.

Cloudera Enterprise-pakken udvider CDH version 3 med ekstra styringsværktøjer. Denne nye software, som ikke er åben kilde, tillader administratorer at kontrollere adgangshåndtering ved brug af Lightweight Directory Access Protocol. Programmer er også til rådighed for at stille ressourcer til rådighed, til at foretage konfiguration og overvågning af resultater.

Olson ville ikke diskutere, hvor meget Cloudera har lavet fra abonnements- og konsulentgebyrer hidtil, men bemærker, at virksomheden i første kvartal 2010 lavede så meget som hvad det har tjent med halvdelen af ​​2009. Blandt forskellige brancher har finansielle tjenester, telekommunikation, detailhandel, regering og web-handelsvirksomheder vist interesse for teknologien, sagde Olson. "De ting, som virksomheder gør med Hadoop varierer. Generelt er disse mennesker fanget masser af data fra mange steder og har brug for at underkaste det til sofistikeret analyse, "sagde Olson. "Finansielle tjenester er interesserede i at bruge Hadoop til bedrageribekæmpelse. I telekommunikation er der et reelt behov for at optimere netværk og reducere kundernes churn."

Ud over at tilbyde disse pakker har Cloudera støttet Hadoop fra udbydere af business intelligence (BI) og data management software.

Olson planlægger at meddele under sit hovedmøde på Hadoop Summit 2010, der finder sted i Santa Clara, Californien på tirsdag, vil BI-leverandøren MicroStrategy støtte Hadoop-brug.

En anden ny partner er Talend, en leverandør af open source data integrationssoftware. Virksomheden har udvidet sin Talend Integration Suite til interface med Hadoop databaser. Dens suite gør det muligt for administratorer at administrere og samle flere datakilder fra en enkelt konsol. Med Hadoop kan softwaren "indbygges eller hentes data indbygget og behandle data inden for Hadoop-arkitekturen", siger tales vicepræsident for marketing, Yves de Montcheuil.

Mikrostrategi og Talend er med i et stigende antal virksomheder, der prædikerer open source eller kommercielle styringsværktøjer til Hadoop. I sidste uge påbegyndte Cloudera og Quest et projekt til at opbygge software, der kan forbinde Hadoop med Oracle-databaser. I maj offentliggjorde Business Intelligence Company Pentaho, at dets BI-suite ville arbejde med Hadoop-databaser. I et separat interview med IDG News Service påpegede Yahoo CTO Raymie Stata, at Hadoop kunne reducere behovet for at opbygge supercomputere at analysere store datasæt. Traditionelt er store datasæt flyttet fra oplagring til supercomputeren, som er et samling af servere, der skal analyseres. I modsætning hertil flyttede Hadoop den analytiske beregning til, hvor dataene befinder sig, hvilket eliminerer behovet for en cental, gigantisk nummerbrudsmaskine. Yahoo var en tidlig ledende bidragyder til Hadoop.

Ud over Cloudera's tilbud bliver Hadoop også kommercialiseret af IBM, som for nylig begyndte at tilbyde et sæt analytiske tjenester, der bruger teknologien.

Joab Jackson dækker enterpise-software og generelt teknologi, der bryder nyheder til

IDG News Service

. Følg Joab på Twitter på @Joab_Jackson. Joabs e-mail-adresse er [email protected]