Som det er, siger Cloudera CEO Mike Olson, Hadoop analytiske platform har nogle betydelige begrænsninger, der involverer hastighed og kompleksitet. Industriledere - inklusive dem på hans eget firma - arbejder imidlertid på at ændre det, med tillid til, at dette forskningsværktøj vil udvikle sig på grundlæggende måder i de kommende år.
På sidste års Strata-konference bad Olson et publikum om at forestille sig, hvordan Hadoop, hvis den blev skabt i dag, ville være designet anderledes og antydede, at nogle specifikke ændringer kunne åbne nye gateways til forskning inden for områder som uddannelse, energi og landbrug. Med henvisning til kosmolog og videnskabelig forfatter Carl Sagan understregede Olson vigtigheden af at nedbryde data på højt niveau for et større publikum.
”Jeg tror, vi er i stand til at komme til kanten af større opdagelser, der betyder noget for erhvervslivet og for samfundet, ” sagde Olson.
Et eksempel, bemærkede han, er den videnskabelige opdagelse, der er gjort muligt af videnskabelige fagfolk i Large Hadron Collider i Schweiz. Ifølge Olson er det den daglige evaluering af 37 terabyte data, der har ført til vigtige fremskridt som vandskibet Higgs-Boson-opdagelsen, der afslørede centrale aspekter af stof og energi. Olson tilføjede, at Hadoop hjælper med at hjælpe i disse grundlæggende forskningsprojekter ved at fange en enorm mængde data i et enkelt arkiv, men at det er svært at interagere med disse data i realtid.
Olson, der uddyber de måder, hvorpå Hadoop og lignende teknologier kan hjælpe forskere inden for nøgleområder, såsom sundhedsvæsen, annoncerede også Impala-projektet, noget som hans firma har arbejdet på i to år med to fjerdedel beta-test i koordinering med større klienter. Impala-projektet, sagde Olson, er en "100% open source" -teknologi med Apache-licens, der fungerer med Hadoop som en "realtidsforespørgselsmotor." Dette, sagde Olson, tillader det, han kalder "hastighed af tankeforespørgsler", hvor brugere kan stille et spørgsmål, få et svar og formulere et nyt spørgsmål til effektivt at bruge store dataklynger.
"Det giver dig en ny måde at få adgang til dine data, " sagde Olson og beskrev, hvordan denne form for fremskridt kan bryde åbne yderligere muligheder for at løse store problemer i USA og i udlandet.
