Apache Spark uitvoerder voor het uitvoeren van Spark taken

Objective

in Apache Spark is een gedistribueerde agent verantwoordelijk voor het uitvoeren van taken, deze agent is wat we Spark Executor noemen. Dit document is gericht op het hele concept van Apache Spark Executor. Ook, we zullen de methode om executor instantie te maken in Spark te zien. Om te leren in de diepte, we zullen ook zien de lancering taak methode in Spark Executor.

Apache Spark-uitvoerder voor het uitvoeren van Spark-taken

u moet uw Spark-leren testen

Wat is Spark-uitvoerder

in principe kunnen we zeggen dat uitvoerders in Spark werkknooppunten zijn. Die helpen om te verwerken die verantwoordelijk zijn voor het uitvoeren van individuele taken in een bepaalde Vonk Baan. Bovendien lanceren we ze aan het begin van een Spark-applicatie. Dan loopt het meestal voor de hele levensduur van een toepassing. Zodra ze de taak hebben uitgevoerd, stuurt resultaten naar de bestuurder. Uitvoerders bieden ook opslag in het geheugen voor Spark RDD ’s die door gebruikersprogramma’ s in de cache worden opgeslagen via Block Manager.
bovendien draait het voor de volledige levensduur van een spark-toepassing. Dat leidt de statische toewijzing van Vonk uitvoerder. We kunnen echter ook de voorkeur geven aan dynamische allocatie.
bovendien stuurt het met behulp van Heartbeat Sender Thread statistieken en hartslagen. Een van de voordelen kunnen we zo veel uitvoerders in Spark als data nodes. Bovendien ook mogelijk om zo veel kernen als je kunt krijgen van de cluster. De andere manier om Apache Spark uitvoerder te beschrijven is ofwel door hun id, hostnaam, omgeving (als SparkEnv), of classpath.
het belangrijkste punt om op te merken is Executor backends exclusief Executor beheren in Spark.

bekijk top Spark certificeringen

voorwaarden om Spark Executor

enkele voorwaarden waarin we Executor in Spark maken:

1. wanneer CoarseGrainedExecutorBackend geregistreerd Uitvoerbericht ontvangt. Alleen voor Spark Standalone en garen.
2. terwijl Mesos ‘ MesosExecutorBackend geregistreerd stond op Spark.
3. wanneer LocalEndpoint is aangemaakt voor lokale modus.

creating Spark Executor Instance

door het volgende te gebruiken, kunnen we de Spark Executor aanmaken:

1. van Executor ID.
2. door SparkEnv te gebruiken kunnen we toegang krijgen tot het lokale Metricssystem en BlockManager. Bovendien, we kunnen ook toegang tot de lokale serializer door het.
3. van de hostnaam van uitvoerder.
4. om aan classpath van taken toe te voegen, een verzameling door de gebruiker gedefinieerde potten. Standaard is het leeg.
5. door vlag of het in lokale of clustermodus draait (standaard uitgeschakeld, dat wil zeggen dat cluster de voorkeur heeft)

je moet Spark SQL Features

lezen bovendien, wanneer het aanmaken succesvol is, verschijnen de ene INFO berichten in de logs. Dat wil zeggen:
INFO Executor: het opstarten van executor ID op host

Heartbeater-Heartbeat Sender Thread

in principe is heartbeater met een enkele thread een daemon ScheduledThreadPoolExecutor.
we noemen deze thread pool een driver-heartbeater.

Launchtask Method

met behulp van deze methode voeren we de invoer serializedTask taak gelijktijdig uit.

Spark Executor-Launching taken on Executor Using TaskRunners

laten we het Spark Machine Learning algoritme

launchTask(context: ExecutorBackend,taskId: Long,attemptNumber: Int,taskName: String,serializedTask: ByteBuffer): Unit

herzien.bovendien gebruiken we launchTask om intern een TaskRunner aan te maken. Vervolgens, met de hulp van taskId, registreren we het in de runningTasks interne register. Daarna, we voeren het uit op “Executor task launch worker” thread pool.

“Executor Task Launch Worker” Thread Pool — ThreadPool eigenschap

in principe, om te starten, door middel van Task launch worker id. Het maakt gebruik van threadPool daemon in de cache thread pool. Bovendien, op hetzelfde moment van de creatie van de vonk uitvoerder, threadPool wordt gemaakt. Sluit het ook af als het stopt.

u moet lezen over gestructureerde Streaming In SparkR

conclusie

als gevolg hiervan hebben we het hele concept van uitvoerders in Apache Spark gezien. Bovendien, we hebben ook geleerd hoe Spark Executors zijn nuttig voor het uitvoeren van taken. Het grote voordeel dat we hebben geleerd is dat we zoveel executeurs kunnen hebben als we willen. Daarom, Executors helpt om de vonk prestaties van het systeem te verbeteren. We hebben elk aspect over Apache Spark uitvoerder hierboven behandeld. Echter, als een vraag optreedt voel je vrij om te vragen in de commentaar sectie.