Executor Apache Spark para executar tarefas Spark

Objective

In Apache Spark, some distributed agent is responsible for executing tasks, this agent is what we call Spark Executor. Este documento visa todo o conceito de Apache Spark Executor. Além disso, vamos ver o método para criar instância executor executor em Spark. Para aprender em profundidade, também veremos o método da tarefa de lançamento no executor Spark.

deve testar a sua Spark Learning

What is Spark Executor

Basicamente, podemos dizer que os executores em Spark São nós de trabalhadores. Estes ajudam a processar a execução de tarefas individuais em um determinado trabalho de faísca. Além disso, lançamo-los no início de uma aplicação de faísca. Então ele normalmente funciona para toda a vida de uma aplicação. Assim que eles executam a tarefa, envia resultados para o motorista. Executores também fornecem armazenamento em memória para RDDS Spark que são cache por programas de usuário através do Gerenciador de blocos.
além disso, para a vida útil completa de uma aplicação de faísca, ele funciona. Isso infere a alocação estática do executor Spark. No entanto, também podemos preferir uma atribuição dinâmica.
além disso, com a ajuda de Heartbeat Sender Thread, ele envia métricas e batimentos cardíacos. Uma das vantagens que podemos ter tantos executores em faísca como nós de dados. Além disso, também é possível ter tantos núcleos quanto você pode obter do cluster. A outra maneira de descrever o Executor Apache Spark é através de seu id, hostname, ambiente (como SparkEnv), ou claspath.
o ponto mais importante a notar é que o Executor apoia exclusivamente Gerenciar Executor no Spark.

Ter um olhar para cima Faísca Certificações

Condições para Criar Faísca Executor

Algumas condições em que criamos Inventariante em Faísca é:

1. quando CoarseGrainedExecutorBackend recebe mensagem de Executor registered. Apenas para Spark Standalone e Fios.
2. While Mesos’s Mesosesexecutorbackend registered on Spark.
3. quando o ponto local é criado para o modo local.Ao usar o seguinte, podemos criar o executor de faísca:
   1. do testamentário.
   2. usando SparkEnv podemos acessar o sistema MetricsSystem local, bem como BlockManager. Além disso, também podemos acessar o serializador local por ele.
   3. do nome do Executor.
   4. para adicionar às tarefas ‘ classpath, uma colecção de frascos definidos pelo utilizador. Por padrão, está vazio.
   5. pelo flag se ele corre em modo local ou cluster (desativado por padrão, ou seja, o cluster é preferido)

   você deve ler as características do Spark SQL

   além disso, quando a criação é bem sucedida, as mensagens de uma informação aparecem nos logs. Isto é:
   INFO Executor: executor iniciante ID na máquina

   Heartbeater-Heartbeat Sender Thread

   basicamente, com um único tópico, heartbeater é um servidor agendado para o executor do Protocolo.Chamamos a isto “thread pool” um batedor de coração-condutor.

   lançando o método de tarefa-lançamento

   usando este método, executamos a tarefa de tarefas serializadas de entrada simultaneamente.

   

   Faísca Executor – Lançamento Tarefas Executor Usando TaskRunners

   Vamos revisar a vela Máquina de Algoritmo de Aprendizagem

   launchTask(context: ExecutorBackend,taskId: Long,attemptNumber: Int,taskName: String,serializedTask: ByteBuffer): Unit

   Além disso, usando launchTask usamos para criar um TaskRunner, internamente. Depois, com a ajuda do taskId, registamo-lo no registo interno runningTasks. Depois, executamo-lo no grupo de roscas “Executor task launch worker”.

   “Executor Task Launch Worker” Thread Pool — ThreadPool Property

   basicamente, para lançar, por ID do trabalhador do lançamento de Tarefas. Ele usa threadPool daemon cached thread pool. Além disso, ao mesmo tempo da criação do executor Spark, threadPool é criado. E desliga-o quando parar.

   você deve ler sobre Streaming estruturado na SparkR

   conclusão

   como resultado, temos visto, todo o conceito de executores na Spark Apache. Além disso, também aprendemos como os executores Spark são úteis para executar tarefas. A grande vantagem que aprendemos é que podemos ter quantos executores quisermos. Portanto, os executores ajudam a melhorar o desempenho faísca do sistema. Nós cobrimos cada aspecto sobre o Executor Apache Spark acima. No entanto, se alguma consulta ocorrer, sinta-se livre para perguntar na seção de comentários.