Apache Spark Eksekutor For Å Utføre Spark Oppgaver

Mål

I Apache Spark er noen distribuert agent ansvarlig for å utføre oppgaver, denne agenten er Det vi kaller Spark Eksekutor. Dette dokumentet tar sikte på Hele konseptet Apache Spark Eksekutor. Også, vi vil se metoden for å skape eksekutor forekomst I Spark. For å lære i dybden, vil vi også se lanseringsoppgavemetoden I Spark Executor.

Du må teste Gnistlæringen

Hva Er Spark Eksekutor

I Utgangspunktet kan Vi si Eksekutorer I Spark er arbeidernoder. De bidrar til å behandle ansvaret for å kjøre individuelle oppgaver i en Gitt Spark-jobb. Videre lanserer vi dem ved starten av En Spark-applikasjon. Da går det vanligvis for hele levetiden til et program. Så snart de har kjørt oppgaven, sender resultatene til sjåføren. Eksekutorer også gi in-memory lagring For Spark RDDs som er bufret av brukerprogrammer Gjennom Block Manager.
i tillegg kjører den for hele levetiden til en spark-applikasjon. Det utleder statisk tildeling Av Gnisteksekutor. Vi kan imidlertid også foretrekke dynamisk allokering.
Videre, ved Hjelp Av Heartbeat Avsender Thread, sender den beregninger og hjerteslag. En av fordelene vi kan ha så mange eksekutorer i Spark som data noder. Videre også mulig å ha så mange kjerner som du kan få fra klyngen. Den andre måten å beskrive Apache Spark Eksekutor er enten av deres id, vertsnavn, miljø (Som SparkEnv) eller classpath.
det viktigste punktet å merke Seg er Eksekutor backends utelukkende administrere Eksekutor I Spark.

Ta en titt på top Spark Sertifiseringer

Betingelser For Å Opprette Spark Eksekutor

Noen forhold der vi oppretter Eksekutor I Spark er:

1. Når CoarseGrainedExecutorBackend mottar RegisteredExecutor melding. Kun For Spark Standalone og GARN.
2. Mens Mesos ‘ S MesosExecutorBackend er registrert På Spark.
3. Når LocalEndpoint er opprettet for lokal modus.

Opprette Spark Eksekutor Eksempel

ved å bruke følgende, kan vi opprette Spark Eksekutor:

1. Fra Eksekutor ID.
2. Ved Å bruke SparkEnv kan vi få tilgang til lokale MetricsSystem samt BlockManager. Videre kan vi også få tilgang til den lokale serializer av den.
3. Fra Eksekutørens vertsnavn.
4. for å legge til i oppgavens classpath, en samling av brukerdefinerte Krukker. Som standard er den tom.
5. Ved flagg om det kjører i lokal eller klyngemodus (deaktivert som standard, dvs.)

Du må lese Spark SQL-Funksjoner

Videre, når opprettelsen er vellykket, dukker OPP EN INFO-meldinger i loggene. DET er:
INFO Eksekutor: Starter eksekutor ID på vert

Heartbeater-Heartbeater Sender Tråd

I Utgangspunktet, med en enkelt tråd, er heartbeater en daemon ScheduledThreadPoolExecutor.
vi kaller denne tråden bassenget en driver-heartbeater.

Starte Oppgave-launchTask-Metoden

ved å bruke denne metoden utfører vi input serializedTask-oppgaven samtidig.

la oss revidere Spark Machine Learning-Algoritmen

launchTask(context: ExecutorBackend,taskId: Long,attemptNumber: Int,taskName: String,serializedTask: ByteBuffer): Unit

Videre bruker vi ved å bruke launchTask til å opprette en taskrunner internt. Deretter registrerer vi det ved hjelp av taskId i runningTasks interne register. Etterpå utfører vi det på «Eksekutor task launch worker» trådbasseng.

«Eksekutor Task Launch Worker» Thread Pool-ThreadPool-Egenskapen

I Utgangspunktet, for å starte, ved oppgave launch worker id. Den bruker threadPool daemon bufret tråd basseng. Videre, på samme tid for opprettelse Av Spark Eksekutor, er threadPool opprettet. Også, slår den ned når den stopper.

Du må lese Om Strukturert Streaming I SparkR

Konklusjon

som et resultat har vi sett hele Konseptet Av Eksekutorer I Apache Spark. Videre har vi også lært Hvordan Spark Eksekutorer er nyttige for å utføre oppgaver. Den store fordelen vi har lært er at vi kan ha så mange eksekutorer vi vil ha. Derfor Bidrar Eksekutorer til å forbedre Systemets Gnistytelse. Vi har dekket hvert aspekt om Apache Spark Eksekutor ovenfor. Men hvis noen spørring oppstår gjerne spørre i kommentarfeltet.