Apache Spark Executor för att utföra Spark-uppgifter

mål

i Apache Spark är någon distribuerad agent ansvarig för att utföra uppgifter, den här agenten är vad vi kallar Spark Executor. Detta dokument syftar hela begreppet Apache Spark Executor. Vi kommer också att se metoden för att skapa exekveringsinstans i Spark. För att lära oss på djupet kommer vi också att se lanseringsuppgiftsmetoden i Spark Executor.

du måste testa din Spark Learning

Vad är Spark Executor

i grund och botten kan vi säga exekutörer i Spark är arbetarnoder. De hjälper till att bearbeta ansvaret för att köra enskilda uppgifter i ett visst Gnistjobb. Dessutom lanserar vi dem i början av en Spark-applikation. Sedan körs det vanligtvis under hela applikationens livstid. Så snart de har kört uppgiften, skickar resultat till föraren. Exekutörer tillhandahåller också lagring i minnet för Spark rdd: er som cachas av användarprogram via Block Manager.
dessutom, för den fullständiga livslängden för en spark-applikation, körs den. Det innebär den statiska fördelningen av Spark executor. Vi kan dock också föredra dynamisk fördelning.
dessutom, med hjälp av Heartbeat Sender Thread, skickar den mätvärden och hjärtslag. En av fördelarna vi kan ha så många exekutörer i Spark som datanoder. Dessutom också möjligt att ha så många kärnor som du kan få från klustret. Det andra sättet att beskriva Apache Spark Executor är antingen genom deras id, värdnamn, miljö (som SparkEnv) eller classpath.
den viktigaste punkten att notera är Executor backends uteslutande hantera Executor i Spark.

ta en titt på top Spark certifieringar

villkor för att skapa Spark Executor

vissa villkor där vi skapar Executor i Spark är:

1. när CoarseGrainedExecutorBackend får RegisteredExecutor meddelande. Endast för gnista fristående och garn.
2. medan Mesos MesosExecutorBackend registrerade på Spark.
3. när LocalEndpoint skapas för lokalt läge.

skapa Spark Executor Instance

genom att använda följande kan vi skapa Spark Executor:

1. från Executor ID.
2. genom att använda SparkEnv kan vi komma åt det lokala Metricssystemet såväl som BlockManager. Dessutom kan vi också komma åt den lokala serialiseraren av den.
3. från exekutörens värdnamn.
4. för att lägga till uppgifter classpath, en samling användardefinierade burkar. Som standard är det tomt.
5. efter flagga oavsett om det körs i lokalt eller klusterläge (inaktiverat som standard, dvs. kluster föredras)

du måste läsa Spark SQL-funktioner

dessutom, när skapandet lyckas, dyker de INFOMEDDELANDEN upp i loggarna. Det är:
INFO Executor: starta executor ID på värd

Heartbeater — Heartbeat Sender Thread

i grund och botten, med en enda tråd, heartbeater är en daemon ScheduledThreadPoolExecutor.
vi kallar denna tråd pool en förare-heartbeater.

starta Task-launchTask Method

genom att använda den här metoden utför vi input serializedTask-uppgiften samtidigt.

Låt oss revidera Spark Machine Learning algoritm

launchTask(context: ExecutorBackend,taskId: Long,attemptNumber: Int,taskName: String,serializedTask: ByteBuffer): Unit

dessutom, genom att använda launchTask vi använder för att skapa en TaskRunner, internt. Sedan, med hjälp av taskId, registrerar vi det i runningTasks interna register. Efteråt kör vi det på ”Executor task launch worker” trådpool.

” Executor Task Launch Worker ” Thread Pool — threadpool Property

i grund och botten, att starta, genom uppgift launch worker id. Den använder threadPool daemon cachad tråd pool. Dessutom skapas threadPool samtidigt med skapandet av Spark Executor. Stänger också av den när den stannar.

du måste läsa om strukturerad Streaming I SparkR

slutsats

som ett resultat har vi sett, hela konceptet av exekutörer i Apache Spark. Dessutom har vi också lärt oss hur Spark exekutörer är till hjälp för att utföra uppgifter. Den stora fördelen vi har lärt oss är att vi kan ha så många exekutörer vi vill ha. Därför bidrar exekutörer till att förbättra systemets Gnistprestanda. Vi har täckt varje aspekt om Apache Spark Executor ovan. Men om någon fråga uppstår är du välkommen att fråga i kommentarsektionen.