Indholdsfortegnelse:
Definition - Hvad betyder Job Chaining?
Job chaining er et udtryk i MapReduce, der refererer til at starte flere trin i den samme MapReduce-opgave. Ved jobkæde sender det første job output til et job, der sender output til det næste job i kæden, og så videre, indtil jobbet er afsluttet. Det er en form for pipelining af MapReduce-job for at gøre dem mere håndterbare.
Techopedia forklarer Job Chaining
Jobkæde i MapReduce refererer til at køre flere opgaver i et enkelt MapReduce-job.
For eksempel kan en jobkæde bestå af:
Kort1> Reducer1> Kort2> Reducer2
Fordelen ved jobkædning er, at det eliminerer behovet for mellemdata mellem alle trin i en rørledning. I den forstand ligner jobkæderingen input / output omdirigering i Unix-shell. Output fra et link i kæden flyder til input i det næste job i kæden. MapReduce giver udviklere mulighed for at specificere afhængigheder, eller hvilke job, der skal udføres, før det behandler de næste job i kæden ved hjælp af metoden opkaldet addDependingJob ().
Dette gør det lettere for en udvikler at skrive et MapReduce-program, der kan behandle store mængder data.
