Hvor vil kartleggerens mellomdata lagres?

Innholdsfortegnelse:

Hvor vil kartleggerens mellomdata lagres?
Hvor vil kartleggerens mellomdata lagres?
Anonim

Utgangen fra kartleggeren (mellomdata) lagres på det lokale filsystemet (ikke HDFS) for hver enkelt kartdatanoder. Dette er vanligvis en midlertidig katalog som kan settes opp i konfigurasjonen av Hadoop-administratoren.

Hvor gjør MapReduce mellomliggende data?

  • Mapper-utgangen (mellomdata) lagres på det lokale filsystemet (IKKE HDFS) til hver enkelt kartleggernoder. …
  • jeg tror dette er parameteren som må endres for å endre den mellomliggende dataplasseringen..
  • mapreduce.cluster.local.dir.
  • Håper dette hjelper.

Hvor lagres kartleggerens utdata?

9) Hvor lagres Mapper-utdata? De mellomliggende nøkkelverdidataene til kartleggerens utdata vil bli lagret på lok alt filsystem til kartleggingsnodene. Denne katalogplasseringen er angitt i konfigurasjonsfilen av Hadoop Admin.

Hva er mellomdata i MapReduce?

Mellomdatafiler er generert av kart og reduserer oppgaver i en katalog (plassering) på den lokale disken. … Utdatafiler generert av kartoppgavene som fungerer som input for reduksjonsoppgavene. Midlertidige filer generert av reduksjonsoppgavene.

Hvor er utdataene fra mapper skrevet i Hadoop?

I Hadoop er utdataene fra Mapper lagret på lokal disk, ettersom det er mellomutdata. Det er ikke nødvendig å lagre mellomdatapå HDFS fordi: dataskriving er kostbart og involverer replikering som ytterligere øker kostnadene og tiden.

Anbefalt: