Virksomheder tilbyder tjenester til at knuse gude rå data

Hvad hvis en amerikansk præsident opfordrede til en masse regeringsdata at blive frigivet, men de rå tal var vanskelige at give mening om?

A håndfuld af virksomheder og et open source-udviklingsprojekt forsøger at sikre sig, at det ikke sker som USAs præsident Barack Obama skubber for åben regering i de tidlige dage af hans administration.

Forretningsmodellerne adskiller sig, men nogle virksomheder bruger de rå data udgivet på Data.gov og andre steder for at demonstrere kraften i deres data-publishing og nummer-crunching tjenester.

Udgivelsen af ​​alle disse data er et godt træk, men meget af det er i et råformat, hvilket gør det er svært at præsentere det på en måde, som folk kan forstå, siger Kevin Merritt, administrerende direktør og grundlægger af Socrata, et toårigt firma med fokus på at hjælpe offentlige myndigheder og andre brugere af dataene at omorganisere og offentliggøre det på internettet.

Socrata kalder sin ser vice om at omorganisere dataene til letlæste interaktive diagrammer og grafer "social data-opdagelse."

"Dataene er værdifulde, men de sociale data er også værdifulde", siger Merritt, en tidligere Microsoft-chef. "Det er en ting at sætte dataene online, men det er en anden ting at rent faktisk få nogle civile feedback loop."

På Data.gov alene var der næsten 400 rå datasæt til rådighed fra onsdag morgen.

Der er en database over personer, rapporteret efter land og region, indrømmet asyl i USA mellem 1998 og 2008; der er data om giftige kemikalier udgivet i Guam i 2005; der er en database med tornadoer, stor hagl og skadelige vindrapporter fra 1950 til 2006; der er data om geokemien af ​​vandprøver i USA; og der er en database med kobber smelteværker rundt om i verden.

Der er også data om patentansøgninger, dødsfald på arbejdspladsen, føderale it-udgifter og migrerende fugleflyve. Der er yderligere 109.000 geografiske datasæt.

Vivek Kundra, føderale CIO, blev spurgt på et nyligt amerikansk forbundskommunale kommissionsforum om Obama-administrationens filosofi om frigivelse af data. "Vi ved ikke rigtig, hvilke data feeds vil føre til bedre analyse," sagde han. "Hvad vi gør er, vi forsøger at frigive så mange data som muligt. Som et resultat heraf finder vi en masse nyskabelser derudover."

Da dataene udgives, er mange amerikanske beboere er spottende tendenser, som regeringsarbejdere ikke havde set før, tilføjede han. For eksempel, baseret på data, som flyselskabsflyvninger typisk er sent på, begynder flygerne at undgå flyvninger fra nogle flyselskaber på bestemte tidspunkter af dagen, sagde han.

Socrata søger sine produkter hos offentlige myndigheder, samt journalister, forskere og andre mennesker, der ønsker at give mening om de rå data. Det tilbyder en håndfuld af produkter, herunder et gratis entry level tilbud, der gør det muligt for nogen at være vært for data på Socrata.com og et hosted, branded datasite for store organisationer. Socrata kan hjælpe regeringer med at reducere omkostningerne til opbevaring og levering af data, siger Merritt.

Socrata reformaterer data fra en række forskellige formater og giver brugerne mulighed for at dele dataene på Twitter, Digg, Facebook og andre websteder. Virksomheden driver fra en filosofi, at data skal deles, siger Merritt.

"Data bliver mere værdifuldt, da det formerer sig væk fra sin kilde," sagde han. "Teorien er jo jo længere den kommer væk fra sin kilde, jo flere har brugt det, og derfor skal disse data være iboende mere værdifulde."

Andre virksomheder, herunder iCharts og Visual I / O, bruger de offentlige data, der fortsat frigives for at demonstrere kraften i deres visuelle analyser eller chart-publishing-produkter.

Desuden udvikler Sunlight Labs, som startes af Sunlight Foundation, udvikling af open source-software, der gør brug af regeringsdata, og opfordrer andre udviklere til at gøre det samme. I år har Sunlight Labs vært vært for to konkurrencer for at fremme applikationsudvikling baseret på regeringsdata, og det har fået mere end 90 indsendelser.

En del af grunden til, at Sunlight Foundation startede Sunlight Labs, var at hjælpe traditionelle og statslige journalister med undersøgelsesrapportering, sagde Clay Johnson, direktør for Sunlight Labs.

"Da Obama-administrationen begynder at frigive flere data, er der ikke nok fingre på tastaturer her i Sunlight Labs for at klare alt dette, "sagde Johnson. "Har Obama-administrationen lykkedes at få flere offentlige data til rådighed? Du taler til fyren med den mest uudslettelige tørst for det, som aldrig vil sige, at de lykkes."

ICharts fokuserer ikke udelukkende på regeringen data, men arbejder for at hjælpe webstedets udgivere til at præsentere oplysninger i et søgbart, let at fordøje format, sagde Seymour Duncker, iCharts grundlægger og CEO. "Der er en enorm overflod af åbne data, for eksempel produceret gennem regeringen og gennem universiteter," sagde han. Der er en mulighed for at gøre disse data tilgængelige for alle, tilføjede han.

Obamas push for offentlig gennemsigtighed giver iCharts en masse nye rådata til at arbejde med, sagde han. "Vi ser, at de rå data ikke er tilstrækkelige," tilføjede Duncker. "Du er nødt til at give kontekst. Jeg ser en ny værdikæde der kommer frem her."

For eksempel sporer en af ​​iCharts fremhævede diagrammer på forsiden det amerikanske bruttonationalprodukt fra 1948 til 2009. I år forventes det som forventet I en recession er BNP faldet betydeligt.

Visual I / O kalder sine produkter visuel analyse software. Brugere kan oprette interaktive diagrammer og grafer og dele dem med andre ved hjælp af Visual I / Os webbaserede værktøjer, siger Angela Shen-Hsieh, Visual I / O-direktør og CEO. Brugere af diagrammerne kan med nogle få klik oprette forskellige visninger baseret på forskellige parametre.

"Når du kigger på Data.gov datasætene, bliver de interessante, når du blander dem sammen," Shen -hsieh sagde Dataene bliver mere nyttige, da brugere overlagrer datasæt som kroniske sygdomme med geografisk information, tilføjede hun.

To IT-analytikere sagde, at de ser en stigende tendens af virksomheder som iCharts og Visual i / o ved hjælp af offentlige data til at demonstrere deres produkter og tjenester. Men både Shawn McCarthy, en statsleverandøranalytiker med IDC og David Curle, leder analytiker med Outsell, spurgte, om et firma kunne bygge en forretningsmodel udelukkende på at genoprette regeringsdata.

Der synes at være begrænsede salgsmuligheder uden for salg de repurposed data tilbage til offentlige myndigheder, og med dataene til rådighed for nogen, vil potentialet for konkurrence være godt, sagde Curle.

Mange offentlige interessegrupper opretter allerede diagrammer og grafer med regeringsdata, tilføjede McCarthy. "Hvad jeg har fundet er, at de fleste data jeg har set behov for yderligere manipulation for at gøre det virkelig værdifuldt," sagde han. "Enhver, der tager fat på dataene og gør noget med det, er mest sandsynligt at tilføje værdi til det."