Hjemmesider

Yahoo hjælper IIT Bombay Konfigurer Hadoop Cluster Lab

8 Horas Música para Dormir, Música Tranquila, Reducir Estres, Ve a Dormir, Música de Fondo, ☯2846

8 Horas Música para Dormir, Música Tranquila, Reducir Estres, Ve a Dormir, Música de Fondo, ☯2846
Anonim

Yahoo har hjulpet Indian Institute of Technology Bombay til at oprette et Hadoop-klyngelaboratorium i Mumbai ved at donere en klynge af servere, der kører open source-Hadoop-softwaren.

Apache Hadoop er et open source-distribueret computerprojekt af Apache Software Foundation, som Yahoo støtter.

Yahoo driver et stort antal af sine kritiske operationer ved hjælp af Hadoop, og det kan ikke gøre al den forskning, der kræves omkring Hadoop inden for virksomheden, siger Prabhakar Raghavan, senior vicepræsident og chef for Yahoo Labs i et telefonsamtale torsdag.

Yahoo annoncerede i juni sidste år sin egen distribution af Hadoop, med henvisning til interessen fra Apache Hadoop-samfundet, at den offentliggør versionen af ​​Hadoop it-test og anvender på sine egne store klynger.

Klyngen laboratorium ved M umbai vil hjælpe forskere på institutets studieområder som søgning og rangeringsteknikker, informationsudvinding og naturligt sprogbehandling.

Akademiske forskere, der ønsker at undersøge webrelaterede problemer, har typisk ikke været i stand til at få adgang til beregningsressourcer og terabyte af data, der kræves til undersøgelse af "web-skala problemer", siger Raghavan.

Med udgangspunkt i at levere Hadoop-forskere på Carnegie Mellon University med en supercomputer på 4.000-processor i 2007 har Yahoo hjulpet andre universiteter i USA til at oprette Hadoop klynger, sagde han.

Raghavan gav ikke flere detaljer om klyngen installeret på IIT, idet man kun sagde, at servere med hundredvis af CPU'er og evne til at håndtere terabyte data er blevet indsat der.

Udover IIT Bombay, Yahoo hjælper med at oprette lignende klynger hos akademiske institutioner i Tyskland og Singapore, siger Raghavan. Dette er de første tre akademiske institutioner uden for USA, hvor Yahoo hjælper med at oprette sådanne klynger, tilføjede han.

Yahoo planlægger senere at samle nogle af klyngerne rundt om i verden for at skabe et "større nytteværdi". Før det skulle Hadoop systemadministrationsfunktioner styrkes for at forhindre en elev i en institution til at kollidere arbejdet hos en anden institution, sagde Raghavan.

Yahoo teamede i 2008 med Computational Research Laboratories (CRL), et laboratorium kørt af Indiens Tata Group, at tilbyde supercomputing faciliteter gratis til akademiske institutioner i Indien, der forsker storskala computing, især omkring Hadoop. Samarbejdet fortsætter, men fokuserer på high performance supercomputing, siger Raghavan.

Partnering med akademiske institutioner på Hadoop hjælper Yahoo med at opbygge en pool af ingeniører, der er fortrolige med Hadoop-platformen, ifølge Raghavan. Nogle af dem er endda blevet ansat af Yahoo, tilføjede han.

Yahoo har også haft gavn af ideer, der er kommet fra akademiske institutioner, der gennemfører forskning ved hjælp af Hadoop, sagde Raghavan. Han gav dog ikke bestemte ideer til ideer, der blev hentet fra dette samarbejde med akademiske institutioner.