Apache Spark Executor Spark-tehtävien suorittamiseen

tavoite

Apache Sparkissa joku hajautettu agentti vastaa tehtävien suorittamisesta, tätä agenttia kutsutaan Spark Executoriksi. Tämä asiakirja tähtää koko käsite Apache Spark Executor. Myös, näemme menetelmän luoda executor esimerkiksi kipinä. Oppia perusteellisesti, näemme myös käynnistää tehtävä menetelmä Spark Executor.

sinun on testattava Kipinäoppimisesi

mikä on Spark Executor

periaatteessa voidaan sanoa, että Spark-suorittajat ovat työläisten solmuja. Ne auttavat käsittelemään käynnissä yksittäisten tehtävien tietyn Kipinätyötä. Lisäksi käynnistämme ne Kipinäsovelluksen alussa. Sitten se tyypillisesti toimii koko käyttöiän sovelluksen. Heti kun he ovat suorittaneet tehtävän, lähettää tulokset kuljettajalle. Suorittajat tarjoavat myös muistin tallennustilaa Spark RDD: ille, jotka käyttäjäohjelmat tallentavat välimuistiin Block Managerin kautta.
lisäksi se toimii kipinäsovelluksen koko elinkaaren ajan. Joka päättelee kipinän suorittajan staattisen jakautumisen. Voimme kuitenkin suosia myös dynaamista jakoa.
lisäksi se lähettää heartbeat Sender Threadin avulla mittareita ja sydämenlyöntejä. Yksi etu meillä voi olla yhtä monta toteuttajaa Spark kuin data solmut. Lisäksi myös mahdollista olla niin monta ydintä kuin voit saada klusterin. Toinen tapa kuvata Apache Spark Executor on joko niiden id, hostname, ympäristö (kuten SparkEnv), tai classpath.
tärkein huomioitava seikka on Executor backends executor executor in Spark.

Have a look at top Spark Certifications

Conditions to Create Spark Executor

Some conditions in which we create Executor in Spark is:

1. kun CoarseGrainedExecutorBackend vastaanottaa Rekisteröidynexecutor-viestin. Vain Spark Standalone ja lanka.
2. kun taas Mesoksen Mesoseksikutorbackend rekisteröityy Sparkiin.
3. kun LocalEndpoint on luotu paikallista tilaa varten.

luodaan Spark Executor instanssi

käyttämällä seuraavaa, voimme luoda Spark Executor:

1. alkaen Executor ID.
2. käyttämällä Sparkenviä Voimme käyttää paikallista Metricssystemiä sekä Blockmanageria. Lisäksi voimme käyttää sitä myös paikalliseen sarjatoimittajaan.
3. alkaen Executor ’ s hostname.
4. lisätä tehtävien ” classpath, kokoelma käyttäjän määrittelemiä purkkeja. Oletusarvoisesti se on tyhjä.
5. lipulla, toimiiko se paikallis – vai klusteritilassa (oletuksena pois käytöstä, esim. klusteri on ensisijainen)

sinun täytyy lukea Spark SQL ominaisuudet

lisäksi, kun luominen onnistuu, yksi INFO viestit ponnahtaa lokit. Se on:
INFO Executor: käynnistävä suorittajan tunnus isännällä

Heartbeater-Heartbeat Sender Thread

periaatteessa, yhdellä langalla, heartbeater on daemon ScheduledThreadPoolExecutor.
kutsumme tätä lankalammikkoa kuski-sydämensyöjäksi.

käynnistetään tehtävä-launchTask-menetelmä

tätä menetelmää käyttäen suoritamme syötesarjan tehtävän samanaikaisesti.

tarkistetaan Spark Machine Learning-algoritmia

launchTask(context: ExecutorBackend,taskId: Long,attemptNumber: Int,taskName: String,serializedTask: ByteBuffer): Unit

lisäksi käyttämällä launchtaskia luomme sisäisesti Taskrunnerin. Sitten, avulla taskId, rekisteröimme sen runningTasks sisäinen Rekisteri. Jälkeenpäin, suoritamme sen ”Executor task launch worker” kierre allas.

”Executor Task Launch Worker” Threadpool — ThreadPool Property

periaatteessa laukaisuun, task launch worker id. Se käyttää threadPool daemon välimuistissa Lanka allas. Lisäksi samaan aikaan luomista Spark Executor, threadPool luodaan. Myös sammuttaa sen, kun se pysähtyy.

sinun täytyy lukea jäsennellystä striimauksesta sparkr

Conclusion

seurauksena, olemme nähneet, Apache Sparkissa koko toteuttajien käsitteen. Lisäksi olemme myös oppineet, miten Spark Executors ovat hyödyllisiä tehtävien suorittamiseen. Suurin etu, jonka olemme oppineet, on, että meillä voi olla niin monta toteuttajaa kuin haluamme. Siksi toimeenpanijat auttavat parantamaan järjestelmän Kipinätehoa. Olemme käsitelleet jokaisen aspektin Apache Spark Executor edellä. Kuitenkin, Jos jokin kysely tapahtuu vapaasti kysyä kommenttiosiossa.