Udviklingen af ​​big data

I de tidlige 2000'ere var det klart, at der var et stort behov for innovation med hensyn til data. Begrænsninger for, hvad virksomheder kunne gøre med deres data frustrerede ledere og faldt effektiviteten enormt. Mange virksomheder lagrede enorme mængder information, men var simpelthen ikke i stand til at administrere, analysere eller manipulere den til deres fordel. Det er dette voksende pres, der gav plads til big data-grænsen.

I 2003 oprettede Google MapReduce, et dataprogram, der gjorde det muligt for firmaet at behandle og analysere oplysninger om dets søgeforespørgsler på tværs af tusinder af servere på kort tid. Både skalerbart og tilpasningsdygtigt gjorde det muligt for Google at udføre tusinder af dataopgaver på få minutter, hvilket forbedrede produktiviteten og omdefinerede opfattede grænser for, hvad der kunne gøres med data. Næsten 10 år senere er big data blevet et centralt element i informationsteknologi. Dets vidtrækkende omfang og evne har grundlæggende ændret datahåndtering på arbejdspladsen. Men hvad har ført til denne udvikling, og hvordan nøjagtigt vil big data påvirke fremtiden? Vi troede, du aldrig ville spørge. (For nogle baggrundslæsning af big data, se Big Data: Hvordan de er fanget, knust og brugt til at tage forretningsafgørelser.)

Søger svar på Big Data spørgsmål

Skønheden i MapReduce var den måde, det forenklede meget komplekse opgaver på. Kommunikation kunne styres på tværs af maskiner, systemfejl kunne adresseres og inputdata kunne organiseres automatisk, en proces, der kunne overvåges af enkeltpersoner, der ikke længere havde brug for meget tekniske færdigheder. Ved at gøre databehandling ikke kun mulig, men tilgængelig, inspirerede Google et kulturelt skift i datastyring. Det tog ikke lang tid, før tusinder af større virksomheder brugte MapReduce til deres data.

Men der var et problem: MapReduce var simpelthen en programmeringsmodel. Selv om det lettede det grundlæggende i databehandlingen, var det ikke i sig selv svaret på eksisterende datamangler; det var kun et meget tiltrængt trin i den rigtige retning. Virksomheder havde stadig brug for et system, der kunne imødekomme deres unikke databehov og gå ud over det nøglen med datahåndtering. Kort sagt, den teknologi, der er nødvendig for at udvikle sig.

Gå ind i Hadoop

Gå ind i Hadoop, en open-source rammesoftware oprettet af flere programmerere, herunder Doug Cutting. Hvor MapReduce var grundlæggende og bred, gav Hadoop en forfriskende specificitet. Virksomheder kunne designe deres egne skræddersyede applikationer, der adresserede databehov på måder, som ingen anden software kunne, og det var generelt kompatibelt med andre filsystemer. Et firma med talentfulde programmerere kunne designe et filsystem, der ville opnå unikke opgaver med data, der før syntes utilgængelige. Den bedste del ved det var muligvis, at udviklere ville dele applikationer og programmer blandt hinanden, der kunne blive uddybet og perfektioneret.

Ved at demokratisere en så vigtig ressource blev Hadoop en trend. Når alt kommer til alt, mente mange store virksomheder, især søgemaskinefirmaer, at de havde brug for det i årtier! Det tog ikke lang tid, før søgemaskigiganter som Yahoo annoncerede implementeringen af ​​store Hadoop-applikationer, der genererede data, der blev brugt i websøgespørgsmål. I det, der så ud som en bølge, annoncerede flere prominente virksomheder, at denne teknologi blev anvendt til deres massive databaser, herunder Facebook, Amazon, Fox, Apple, eBay og FourSquare. Hadoop satte den nye standard for databehandling.

Big Data, store problemer

Mens fremskridt inden for datateknologi har omformet måden, hvorpå virksomheder behandler data, finder mange ledere dem stadig uudrustede for hele spektret af krævede opgaver. I juli 2012 frigav Oracle en undersøgelse blandt mere end 300 ledere på C-niveau, der afslørede, at mens 36 procent af virksomhederne er afhængige af IT til at administrere og analysere data, mener 29 procent af dem, at deres systemer mangler tilstrækkelige evner til at imødekomme deres virksomheds ' har brug for. Undersøgelsens mest slående fund var, at 93 procent af de adspurgte mente, at deres firma tabte op til 14 procent af dets indtægter ved ikke at kunne bruge indsamlede data. Det er indtægter, der kan bruges på at fremstille bedre produkter og ansætte flere arbejdstagere. I en tid, hvor virksomheder kæmper for at forblive rentable, er det nødvendigt at forbedre data, så virksomheder kan blive mere rentable. Undersøgelsen viser, at til trods for dem, der mener, at big data's indflydelse på handel allerede er gået, er mulighederne for vækst og fremme af den endnu ikke fuldt ud realiseret.

Hvad fremtiden har for Big Data

Den gode nyhed er, at Hadoop og MapReduce har inspireret mange andre datastyringsværktøjer. Mange nye virksomheder opretter omfattende dataplatformer, der kører på Hadoop, men tilbyder en bred vifte af analytiske funktioner og lettere systemintegration. Det ser ud til, at virksomheder har investeret en hel del ressourcer til at tackle dataproblemer, og datafirksomheders økonomiske succes har været et bevis på dette. I 2010 indsamlede datafirmaer ca. 3, 2 mia. Dollars i detailsalg. Mange eksperter har estimeret, at dette antal vil vokse til hele 17 milliarder dollars i 2015 alene. Dette er et faktum, der ikke er gået tabt på nogle af de største teknologiselskaber. Både IBM og Oracle har brugt milliarder i løbet af de sidste måneder for at erhverve datafirmaer. Mange andre virksomheder vil foretage lignende træk i de kommende år, da de fortsat kæmper for en konkurrencedygtig markedsandel.

The Big Data Frontier

Mængden af ​​data, der indsamles, vokser fortsat eksponentielt, hvilket har nogle bekymrede og andre begejstrede. Ulempen er, at mennesker fortsat vil blive mere produktive og tilpasningsdygtige, når vi lærer nye ting om vores verden gennem analyse af data. Ulempen er, at der er en sådan enorm mængde data, at mange frygter, at vi ikke er i stand til at gemme det hele korrekt, langt mindre korrekt styre det, så det kan bruges af alle, der har brug for det.

Når det er sagt, kan fremskridt inden for big data give hidtil usete muligheder for løsninger på presserende problemer vedrørende data. Eksperter har f.eks. Foreslået, at hvis big data blev implementeret korrekt med vægt på effektivitet og kvalitet, ville det have potentialet til at spare omkring 300 milliarder dollars om året alene i udgifter til sundhedsvæsenet; detailhandlere ville være i stand til at forbedre deres driftsmargener, den offentlige sektor kunne levere bedre tjenester og store virksomheder ville spare milliarder. Og så ser det ud til, at det ikke kun er nødvendigt at løse vores dataproblemer i virksomhedens bestyrelseslokaler, men overalt. Hvilket siger gode ting om big data's fremtid - og måske også vores.