Apache Spark Executor pro provádění úloh Spark

cíl

v Apache Spark je nějaký distribuovaný agent zodpovědný za provádění úkolů, tento agent je to, čemu říkáme Spark Executor. Tento dokument se zaměřuje na celý koncept Apache Spark Executor. Také uvidíme způsob vytvoření exekutor instance v Spark. Chcete-li se dozvědět do hloubky, uvidíme také metodu spuštění úlohy v Spark Executor.

musíte vyzkoušet své Jiskru Učení

Co je Jiskra Exekutor

v Podstatě můžeme říci, Exekutoři v Spark jsou pracovník uzlin. Ty pomáhají zpracovávat na starosti běh jednotlivých úkolů v dané Spark úloze. Navíc je spouštíme na začátku aplikace Spark. Pak to obvykle běží po celou dobu životnosti aplikace. Jakmile mají spustit úkol, odešle výsledky řidiči. Exekutoři také poskytují úložiště v paměti pro Spark RDD, které jsou ukládány do mezipaměti uživatelskými programy prostřednictvím Správce bloků.
kromě toho běží po celou dobu životnosti aplikace spark. Z toho vyplývá statická alokace exekutora Spark. Můžeme však také upřednostňovat dynamické přidělování.
navíc pomocí vlákna Heartbeat Sender odesílá metriky a srdeční tep. Jednou z výhod, kterou můžeme mít ve Spark tolik exekutorů jako datové uzly. Kromě toho také možné mít tolik jader, jak můžete získat z clusteru. Jiný způsob, jak popsat Apache Spark Executor je buď jejich id, hostname, prostředí (jako SparkEnv), nebo classpath.
nejdůležitějším bodem, který je třeba poznamenat, je exekutor backends výhradně spravovat exekutora ve Spark.

podívejte se na horní Jiskra Certifikace

Podmínky pro Vytvoření Jiskry Exekutor

Některé podmínky, v nichž jsme se vytvořit Exekutor v Spark je:

1. když CoarseGrainedExecutorBackend obdrží zprávu RegisteredExecutor. Pouze pro Spark samostatný a příze.
2. zatímco Mesos je MesosExecutorBackend registrován na Spark.
3. je-li LocalEndpoint vytvořen pro místní režim.

Vytvoření Jiskry Exekutor Instance

pomocí následujícího, můžeme vytvořit Jiskru Exekutor:

1. Od Exekutora ID.
2. pomocí SparkEnv můžeme přistupovat k lokálnímu MetricsSystem i BlockManager. Kromě toho můžeme také přistupovat k místnímu serializátoru.
3. z názvu hostitele exekutora.
4. Chcete-li přidat do classpath úkolů, sbírku uživatelem definovaných sklenic. Ve výchozím nastavení je prázdný.
5. příznak, zda to běží v místní nebo clusteru režim (ve výchozím nastavení zakázána, tj. clusteru je upřednostňovaný)

musíte číst Spark SQL Funkce

Navíc, když stvoření je úspěšný, jeden informační zprávy pop-up v protokolech. To je:
INFO Exekutorem: Od exekutora ID na hostitele

Heartbeater — Tep Odesílatele Nit

v Podstatě, jeden závit, heartbeater je daemon ScheduledThreadPoolExecutor.
říkáme tomuto fondu vláken ovladač-heartbeater.

spuštění Task-launchTask Method

pomocí této metody provedeme vstupní serializedTask úkol souběžně.

Pojďme revidovat Jiskra Strojového Učení Algoritmus,

launchTask(context: ExecutorBackend,taskId: Long,attemptNumber: Int,taskName: String,serializedTask: ByteBuffer): Unit

kromě toho, pomocí launchTask jsme se použít k vytvoření TaskRunner, vnitřně. Poté jej pomocí taskId zaregistrujeme do interního registru runningTasks. Poté jej provedeme na fondu podprocesů“ Executor task launch worker“.

“ Executor Task Launch Worker “ Thread Pool-ThreadPool vlastnost

v podstatě, ke spuštění, by task launch worker id. Používá threadPool daemon cache thread pool. Navíc, ve stejné době vytvoření Spark Executor, threadPool je vytvořen. Také se vypne, když se zastaví.

musíte Si přečíst o Strukturované Streaming v SparkR

Závěr

Jako výsledek, jsme viděli, celý koncept Exekutory v Apache Spark. Kromě toho jsme se také dozvěděli, jak jsou vykonavatelé Spark užiteční při provádění úkolů. Hlavní výhodou, kterou jsme se naučili, je, že můžeme mít tolik exekutorů, kolik chceme. Proto exekutoři pomáhá zvýšit výkon jiskra systému. Pokryli jsme každý aspekt o Apache Spark Executor výše. Pokud však dojde k nějakému dotazu, zeptejte se v sekci komentářů.