Car-tech

Facebook forbereder sig til at bruge "kold opbevaring" til at håndtere store mængder data

Nothing like a Mozambique Cyclone for some FAST SAILING! (Patrick Childress #37)

Nothing like a Mozambique Cyclone for some FAST SAILING! (Patrick Childress #37)

Indholdsfortegnelse:

Anonim

Facebook genovervejer den måde, hvorpå den gemmer data for at klare de 7 petabytes nye billeder, som det sociale netværk brugerne uploader hver måned. Efterhånden som antallet af fotos vokser, har Facebook behov for at finde billigere, mindre power-hungry måder at gemme dem alle, ifølge virksomhedens vicepræsident for infrastrukturteknik.

Brugere uploader 300 millioner billeder om dagen, mere i særlige tilfælde, Facebooks Jay Parikh fortalte Structure Europe-konferencen i Amsterdam onsdag. "Halloween er en af ​​vores største billedoploadedage på året. Vi kommer et sted mellem sandsynligvis 1 og 2 milliarder billeder uploadet kun på en enkelt dag," sagde han.

Billeder som dem, der blev taget på Halloween, mister snart deres interesse, mens ingen ser på dem efter et par dage eller uger, men "Vores kontrakt med vores brugere er, at vi ikke kan slette dataene, når det ikke er tilgængeligt, vi skal beholde det," sagde han. Det førte til tanken om at sætte billederne i en slags "kold opbevaring", sagde Parikh.

[Yderligere læsning: De bedste tv-streamingtjenester]

For at gøre det, planlægger Facebook at opbygge et nyt datacenter med forskellige typer opbevaring, serverhardware og netværksudstyr, der bruger mindre strøm og omkostninger mindre end eksisterende datacentre - alt uden at ændre serverens responstider, sagde han.

Men hvor effektivt kan Facebook få sin kølelager? Når omkostninger og strømforbrug i datacentre sænkes, sker dette normalt på bekostning af adgangshastigheder.

Lagring af data på bånd, for eksempel sænker strømforbruget, men sænker dataadgangen alvorligt.

Amazon Web Services følger en mellemliggende sti med dens Glacier Cloud Storage Service, som den pitcher som et alternativ til tape. Tjenesten er optimeret til data, der sjældent er adgang til, og for hvilke hentningstider på flere timer er acceptable.

Det er meget for langsomt for Facebook, ifølge Parikh. "Jeg kan ikke få et billede, som du går i gang for fem eller ti år siden, og for mig at vise et banner til brugeren, der siger:" Hej, hvorfor forsøger du ikke igen om 24 timer? " Det skal stadig være relativt realtid, "sagde han.

Lavere strømbehov

Billede: Hilsen af ​​Data Center KnowledgeFacebook-datacenter i Oregon

De fleste datacentre, der bruges i dag, er optimeret til at bruge en masse magt til at håndtere opgaver, som kræver stor databehandlingskraft. Den "cold storage" -teknologi, Facebook tænker på, er på den anden ekstreme, sagde Parikh. "Du har brug for masser af plads, men du behøver ikke så meget strøm," sagde han og tilføjede, at alt om datacenteret skal genovervejes for at håndtere problemet på skalaen Facebook-ansigter.

På højt niveau, Facebook arbejder på software, der vil finde ud af, hvordan og hvor man skal gemme et stykke indhold i infrastrukturen, når det er aldre, sagde parikh. "Det vil betyde, at kopierne af dataene vil bevæge sig over tid og udnytte de forskellige dele af infrastrukturen, som vi vil have optimeret til alder af indhold." Nogle af opfindelserne i softwarelaget gør det muligt for Facebook at reagere hurtigt, men at gemme data mere omkostningseffektivt, sagde han.

Kaldopbevaring vil være en del af Facebooks infrastruktur i det næste år eller to, sagde han. Facebook planlægger at oplyse og dele de dele, som den mener er relevante via Open Compute Project, et initiativ, der startes af Facebook for at anvende open source software samarbejdsmodellen til verden af ​​datacenter hardware.