Q:
Hvilke omstændigheder førte til stigningen i big data-økosystemet?
EN:Der er mange faktorer, der har bidraget til fremkomsten af nutidens big data-økosystem, men der er en generel enighed om, at big data skabes på grund af en række hardware- og software-design, der simpelthen gjorde det muligt for store data at eksistere.
| Webinar: Big Iron, Meet Big Data: Befriende Mainframe Data med Hadoop & Spark Tilmeld dig her |
En konventionel definition af big data er som følger: Datasæt, der er tilstrækkeligt store og komplekse til, at de trodser let iterativ styring eller styring i hånden. Store datasæt identificeres ofte som datasæt, der ikke kan passe ind i et simpelt databasenetværk, fordi deres analyse kræver for meget arbejde fra den side af serverne, der håndterer dataene.
Med det i tankerne er en væsentlig del af det, der skabte big data, den idé, vi kender som Moore's Law, eller fordoblingen af transistorer på et kredsløb hvert andet år, hvilket skaber stadig mindre hardware- og datalagringsenheder (samt mere kraftfulde mikroprocessorer) . I forbindelse med Moore's Law, og sandsynligvis på grund af den, blev computeregenskaberne for tilgængelige softwaresystemer fortsat stigende, til det punkt, hvor endda personlige computere kunne håndtere meget større mængder data, og forretnings- og fortovssystemer begyndte at kunne håndtere datastørrelser kun tænkelig flere år før. Personlige systemer flyttede fra kilobyte til megabyte og derefter til gigabyte i en proces, der er gennemsigtig for forbrugerne. Vanguard-systemer flyttede sig fra gigabyte til terabyte og petabytes og over på størrelsesordener som zetabyte på måder, der var meget mindre gennemsigtige for den gennemsnitlige borger.
Et andet fremskridt med hensyn til store data var ændringer i måderne, som håndterere behandlede datasæt. I stedet for lineær behandling gennem en konventionel relationel databasedesign, begyndte håndterere at bruge værktøjer som Apache Hadoop og relaterede hardwarehåndteringsstykker til at eliminere flaskehalse i dataprocesser.
Resultatet er den store dataverden, vi lever i, hvor massive datasæt opbevares og vedligeholdes i datacentre og i stigende grad fås adgang til en bred vifte af teknologier til en lang række anvendelser. Fra handel til økologi, fra offentlig planlægning til medicin bliver big data mere og mere tilgængelig. I mellemtiden skubber regeringsorganer og andre større organisationer stadig grænserne for big data-størrelser og implementerer endnu mere avancerede løsninger.
