Hvad er hadoop nøjagtigt? en kyniker's teori

Alt, der ser for godt ud til at være sandt, er normalt. Sådan kan det være tilfældet med Apache Hadoop, det meget ballyhooed open source-projekt, som alle fortsætter med at tale om. Så hvad er denne ting nøjagtigt? Godt spørgsmål!

Eksperter tvivlsomme

Analytiker Mark Madsen fra Third Nature spikede den fast mod væggen et stykke tid tilbage i et grimt stykke på InsideAnalysis.com: "Hvad Hadoop er. Hvad Hadoop ikke er." Som en person, der ved, hvordan man designer løsninger i den virkelige verden, så faktisk implementerer dem, bør hans råd ikke ignoreres.

Men der flyder en dybere strøm her, og tiden er tæt på at afsløre rødderne i denne fascinerende flora for at se, om vi ikke kan få et perspektiv på, hvad der sker på mere af et makroniveau. Når alt kommer til alt siger sælgere, at det er en stor aftale, og der er så mange deltagere.

Ansæt Committers! (?)

Tre virksomheder ejer i øjeblikket størstedelen af ​​Hadoops nye marked: Cloudera, Hortonworks og MapR. På en nylig, temmelig omstridt briefing via Boulder BI Brain Trust (#BBBT) kom Jim Walker fra Hortonworks med denne nysgerrige kommentar:

"Du kan ikke fremme teknologien, hvis du ikke ansætter pendlere!"

Kom igen?

Høres ikke dette ud som noget Senator Palpatine måske siger i en Star Wars-film?

Senator Palpatine: "Ansæt pendlere!"

Minion i nærheden: "Men, men herre! Tænk på børnene!"

For lægmanden derude, der bare prøver at få tingene gjort, er pendlere mennesker, der er dedikeret til et bestemt open source-projekt. Apache Foundation har strenge protokoller, hvormed deres projekter går videre, hvilket ofte er en god ting.

Når det er sagt, garanterer Walker's kommentar undersøgelse. Et spurgt spørgsmål (med risiko for at trylle om legepladsdage) ville være: Er det et løfte eller en trussel? Siger han, at Hortonworks måske bare tager deres bold og går hjem?

Samarbejde eller konkurrence?

Den interessante, hvis paradoksale vinkel her, er, at angiveligt, de fleste af pendlerne på Hadoop-teamet (ca. 30 i alt) er fra Hortonworks og Cloudera - der er konkurrenter. Dette er et meget underligt tilfælde af konkurrence.

Så hvad er der? Her er et veluddannet gæt: Hadoop skylder stort set sin berømmelse til en smart plan udtænkt af en gruppe af Silicon Valley-venturekapitalister og ingeniører, der i det væsentlige forsøger at afdække deres indsats mod Oracle.

Den overordnede idé er at frø markedet med et fundament af kode, der kan forbedres og styrkes af en rag-tag-flåde af udviklere, som ideelt set over tid vil skabe alle mulige datastyringsværktøjer, inklusive databaseprodukter. VC'erne kan investere og udbetale en dag. Men der er nogle alvorlige udfordringer i spil.

Som alle monolitiske virksomheder befinder Oracle sig ofte i krydset for mange mindre spillere. Og hvem ville ikke bare have et udsnit af deres indtægtsfulde indtægter? I det sidste kvartal reserverede Oracle ~ 9 milliarder dollars. Men at udfordre Big Red og slå dem er to meget forskellige realiteter.

Gratis webcast: Hvad er Hadoop, og hvor skal den hen? Deltag i Eric Kavanagh, Robin Bloor og Techopedia for en diskussion om, hvordan Hadoop er meget forskellig fra Linux eller SOA, og hvorfor dens fremtid stort set forbliver uskrevet.

Emballeringsproblemer

Sagen ved Hadoop, i sig selv, er, at det ikke er en pakket løsning på nogen måde. Det er snarere en kompleks samling af moduler, der giver programmerere af høj kvalitet mulighed for at udnytte massive parallelle behandlingsalgoritmer til at gøre meget specifikke ting. Men der er ingen smarte brugergrænseflade, og manualerne er brutale.

Føj til den udfordring denne kritiske hindring: du har også brug for forretningsfolk, der mindst har en generel forståelse af, hvad det kan gøre. Disse mennesker skal være i stand til at trylle frem ideer om, hvordan det kan bruges, og derefter kommunikere med udviklerne, som derefter skal fremstille, teste, implementere og understøtte applikationer.

Orkestrering af denne dans er, hvordan Cloudera og Hortonworks tjener meget af deres penge. Problemet er, at de fleste af de løsninger, der oprettes via denne metode, er unikke og fokuserer typisk på operationelle systemer i modsætning til analytiske. Oversættelse? Sådanne ting egner sig ikke rigtig til emballerede softwareprodukter.

Emballages rentabilitet!

Hvilket bringer os tilbage til Oracle. Larry Ellison og drengene fremstiller deres hø, der sælger databaseteknologi, hardware, tjenester og (vent på det …) pakket software. Cloudera regnede tilsyneladende med dette, og dermed deres fokus på Impala. Men Hortonworks?

Deres model ser ud til at efterligne mere fra RedHat, de mennesker, der byggede en forretning på milliarder dollars oven på Linux-operativsystemet. Nary, en stor leverandør i virksomhedssoftwarebranchen, skriver ikke for Linux, det operativsystem, som IBM ledte Microsoft af ved passet. Men Hadoop er ingen Linux, ikke på lang sigt.

Dr. Geoffrey Malafsky, en tidligere nanoteknolog for den amerikanske flåde, nu dataforsker med Phasic Systems og PSIKORS-instituttet, destillerer Hadoop-værdipropositionen på denne måde:

"Hadoop er fantastisk til søgning, meget stor trendanalyse for stokastiske resultater, og sandsynligvis nogle meget billige kloge parallelle behandlinger af ting som min ex-kone plejede at gøre: kvantemekanisk bølgefunktionsberegning af fast tilstand og kemiske reaktioner. Denne ægte videnskab bygger på supercomputere og flyttede noget ind i parallel behandling, men det er en hård ændring af programmeringsmetoden. Unge, smarte, energiske kandidatstuderende vil være dem, der får dette til at ske. applikationer."

Du vil bemærke, at det ikke lyder noget som datalager, business intelligence, dataintegration eller endda big data. Det lyder som supercomputing. Og af en eller anden interessant grund har verdener af højtydende computere og forretningsinformation aldrig rigtig kollideret eller sammenklappet på nogen meningsfuld måde.

Lang vej foran Hortonworks og Cloudera

Og her er de virkelig dårlige nyheder for Hortonworks og muligvis Cloudera. De store leverandører som IBM og SAP og Oracle og Teradata - for at sige dette mildt og citere Dire Straits: "Dem fyre er ikke stumme!" For tre og flere år siden rullede alle ud seriøse Hadoop-strategier.

Centralt i disse planer er de slags ting, som forretningsbrugere forventer: grafiske brugergrænseflader, træk-og-slip-funktionalitet, modellerings- og opdagelsesværktøjer, arbejdsgang, styring, sikkerhed; kort sagt, alle de bits og stykker, der gør enterprise software anvendelig. Og selvfølgelig har disse store leverandører massive installationsbaser.

For at være sikker har Cloudera og Hortonworks begge fået god forretning, men kun en lille brøkdel af, hvad de store spillere får hvert år. Gør regnestykket med, hvor meget udfordrerne opkræver deres kunder sammenlignet med hvor meget deres overhead sandsynligvis er, og billedet er ikke så rosenrødt. Indrømmet, det er på niveau med kurset med problemer i starten af ​​softwaren, men alligevel …

Hadoop's fremtid?

Så måske ser vi den klassiske bølge af opkøb, som vi havde tilbage i aughterne, da IBM købte Cognos, Oracle fik Hyperion og SAP fik næste BusinessObjects? Måske, men de nye børn på denne blok ejer ikke Hadoop; de låner det bare. Og så lovende som YARN og Tez måtte være, synes frigørelsescyklusserne at hænge bag, hvad de tunge møbler producerer.

Lige forleden kommenterede en erhvervsinsider, at politikken i Apache kan være en alvorlig flaskehals. Dette er ikke meget overraskende, især når man overvejer de involverede dollars - der er stor motivation for innovatører til at slå dem rige. Og har nogen bemærket, hvordan Chrome ser ud til at have overgået Firefox med hensyn til funktionalitet og funktionsevne i det seneste? Lukket kilde, nogen?

En ting er sikker: dette spil vil blive spillet på nogle interessante måder. Ja, pattedyrene (læs: små leverandører) kan ofte overskride dinosaurerne; men der er stadig alligatorer og krokodiller overalt i verden; og hvis du snubler over en uvidende, kan du måske bare opdage, hvor skarpe disse tænder kan være. Et par crocs sammen kunne endda tage en elefant eller to ned.