Apache Spark eksekutor til udførelse af Spark opgaver

mål

i Apache Spark er nogle distribuerede agenter ansvarlige for at udføre opgaver, denne agent er det, vi kalder Spark-eksekutor. Dette dokument sigter mod hele begrebet Apache Spark eksekutor. Vi vil også se metoden til at oprette eksekutorinstans i Spark. For at lære i dybden vil vi også se lanceringsopgavemetoden i Spark-eksekutor.

du skal teste din Spark-læring

Hvad er Spark-eksekutor

grundlæggende kan vi sige, at eksekutorer i Spark er arbejdsnoder. De hjælper med at behandle ansvaret for at køre individuelle opgaver i et givet Gnistjob. Desuden lancerer vi dem i starten af en Spark-applikation. Derefter kører det typisk i hele en applikations levetid. Så snart de har kørt opgaven, sender resultater til føreren. Eksekutorer leverer også opbevaring i hukommelsen til Spark RDDs, der cachelagres af brugerprogrammer gennem Block Manager.
derudover kører den for den komplette levetid for en spark-applikation. Det udleder den statiske tildeling af Spark eksekutor. Vi kan dog også foretrække dynamisk tildeling.
desuden sender den ved hjælp af Heartbeat afsender Thread målinger og hjerteslag. En af fordelene, vi kan have så mange eksekutorer i Spark som dataknudepunkter. Desuden også muligt at have så mange kerner, som du kan få fra klyngen. Den anden måde at beskrive Apache Spark eksekutor er enten ved deres id, værtsnavn, miljø (som SparkEnv) eller classpath.
det vigtigste punkt at bemærke er eksekutor backends udelukkende styre eksekutor i Spark.

Tag et kig på top Spark certificeringer

betingelser for at skabe Spark eksekutor

nogle betingelser, hvor vi opretter eksekutor i Spark, er en af:

1. når Coarsegrainedeksekutorbackend modtager registreret eksekutor besked. Kun til Spark Standalone og garn.
2. mens Mesos ‘ s Mesosekseksecutorbackend registreret på Spark.
3. når LocalEndpoint oprettes til lokal tilstand.

oprettelse af Gnisteksekutorinstans

ved at bruge følgende kan vi oprette Gnisteksekutoren:

1. fra eksekutor ID.
2. ved at bruge SparkEnv kan vi få adgang til det lokale MetricsSystem samt BlockManager. Desuden kan vi også få adgang til den lokale serialisator ved hjælp af den.
3. fra eksekutorens værtsnavn.
4. for at tilføje til tasks’ classpath, en samling af brugerdefinerede krukker. Som standard er den tom.
5. efter flag, om det kører i lokal eller klyngetilstand (deaktiveret som standard, dvs. klynge foretrækkes)

du skal læse Spark funktioner

desuden, når oprettelsen er vellykket, den ene INFO meddelelser poppe op i logfilerne. Det er:
INFO eksekutor: start eksekutor ID på vært

Heartbeater — Heartbeat Sender Thread

dybest set, med en enkelt tråd, heartbeater er en dæmon Scheduledthreadpooleksekutor.
vi kalder denne tråd pool en driver-heartbeater.

lancering af opgave — launchTask-metode

ved at bruge denne metode udfører vi input serialiseret opgaveopgave samtidigt.

lad os revidere Spark Machine Learning-algoritmen

launchTask(context: ExecutorBackend,taskId: Long,attemptNumber: Int,taskName: String,serializedTask: ByteBuffer): Unit

desuden bruger vi launchTask til at oprette en TaskRunner internt. Derefter registrerer vi det ved hjælp af taskId i runningTasks interne register. Bagefter udfører vi det på” eksekutor opgave lancering arbejdstager ” tråd pool.

“eksekutor opgave lancering arbejdstager” tråd Pool — ThreadPool ejendom

dybest set, at lancere, ved opgave lancering arbejdstager id. Det bruger threadPool daemon cachelagret tråd pool. Desuden oprettes threadPool samtidig med oprettelsen af Spark-eksekutor. Også, lukker det ned, når det stopper.

du skal læse om struktureret Streaming I SparkR

konklusion

som et resultat har vi set hele begrebet eksekutorer i Apache Spark. Desuden har vi også lært, hvordan Spark-eksekutorer er nyttige til udførelse af opgaver. Den største fordel, vi har lært, er, at vi kan have så mange eksekutorer, vi ønsker. Derfor hjælper eksekutorer med at forbedre systemets Gnistydelse. Vi har dækket hvert aspekt om Apache Spark eksekutor ovenfor. Men hvis der opstår en forespørgsel, er du velkommen til at spørge i kommentarsektionen.