Hjem Trends Hvorfor er skalerbar maskinlæring vigtig?

Hvorfor er skalerbar maskinlæring vigtig?

Anonim

Q:

Hvorfor er skalerbar maskinlæring vigtig?

EN:

Skalerbar maskinlæring er et stort buzzword i maskinlæringsindustrien, delvis fordi det at få maskinlæringsprocesser til skala er et vigtigt og udfordrende aspekt ved mange maskinlæringsprojekter.

F.eks. Er nogle mindre maskinlæringsprojekter muligvis ikke nødvendige for at skalere så meget, men når ingeniører overvejer forskellige former for produktiv modellering, forsøger at køre analyse af gigantiske datasæt eller forsøge at anvende maskinlæring i forskellige hardwaremiljøer, kan skalerbarhed betyder alt.

Gratis download: Machine Learning og Why It Matters

Skalerbar maskinlæring er vigtig, når det er klart, at projektets omfang overgår den oprindelige opsætning. Der kan være behov for forskellige algoritmer, der hjælper maskinindlæringsprocesser med at matche andre dataanalyseprocesser. Maskinlæring kræver muligvis flere ressourcer til det samme datasæt.

Med hensyn til de anvendte værktøjer bruges Apache Hadoop ofte til ekstremt store datasæt, for eksempel ca. 5 TB. Under dette mark er der andre værktøjer på mellemniveau, der kan gøre jobbet godt, såsom Pandas, Matlab og R. IT-fagfolk vil matche værktøjerne til det nødvendige niveau af skalerbarhed. De vil forstå, hvor meget arbejdsmaskinelæringsprogrammer der skal gøres, og hvordan de skal udstyres for at nå disse mål.

Sammen med evnen til at skalere til meget større datasæt i rækkefølgen af ​​flere terabyte er en anden udfordring med skalerbar maskinlæring at udvikle et system, der kan arbejde på tværs af flere noder. Nogle grundlæggende maskinindlæringssystemer er muligvis kun konfigureret til at køre på en individuel computer- eller hardwarekomponent. Men når maskinlæringsprocesser skal interagere med flere noder, vil det kræve en anden tilgang. At få maskinlæring til at arbejde i en distribueret arkitektur er en anden vigtig del af skalerbar maskinlæring. Overvej en situation, hvor maskinlæringsalgoritmer skal have adgang til data fra snesevis eller endda hundreder af servere - dette vil kræve betydelig skalerbarhed og alsidighed.

En anden drivkraft for skalerbar maskinlæring er processen med dyb læring, hvor ingeniører og interessenter muligvis får flere resultater fra at gå dybere ned i datasæt og manipulere dem på mere dybtgående måder. Deep learning-projekter er et fremragende eksempel på, hvordan virksomheder kan have brug for at vedtage skalerbar maskinlæringsstrategi for at opnå den kapacitet, de har brug for. Når dyb læring fortsætter med at udvikle sig, vil det lægge pres på maskinlæringssystemer for at skalere mere effektivt.

Hvorfor er skalerbar maskinlæring vigtig?