Nós escravos em clusters Hadoop

Em um universo Hadoop, nós escravos são onde os dados Hadoop é armazenado e onde o processamento de dados ocorre. Os seguintes serviços permitem que nós escravos para armazenar e processar dados:

  • NodeManager: Coordena os recursos para um nó escravo individual e relatórios de volta para o Gerenciador de recursos.

  • ApplicationMaster: Acompanha o andamento de todas as tarefas em execução no cluster Hadoop para uma aplicação específica. Para cada aplicativo cliente, o Resource Manager implanta uma instância do serviço ApplicationMaster em um recipiente em um nó escravo. (Lembre-se que qualquer nó executando o serviço NodeManager é visível para o Gerenciador de recursos.)

  • Recipiente: Uma coleção de todos os recursos necessários para executar tarefas individuais para um aplicativo. Quando um aplicativo está sendo executado no cluster, os horários do Gerenciador de Recursos as tarefas para o aplicativo seja executado como serviço de contentores sobre nós escravos do cluster.

  • TaskTracker: Gerencia o mapa individual e reduzir as tarefas em execução em um nó escravo para clusters Hadoop 1. Em Hadoop 2, este serviço é obsoleto e foi substituído por serviços fio.

  • DataNode: Um serviço de HDFS que permite a NameNode para armazenar blocos no nó escravo.

  • RegionServer: Armazena dados para o sistema HBase. Em Hadoop 2, HBase usa Hoya, que permite instâncias RegionServer a serem executados em recipientes.

    image0.jpg

Aqui, cada nó escravo está sempre executando uma instância DataNode (que permite HDFS para armazenar e recuperar blocos de dados no nó escravo) e uma instância NodeManager (que permite o Gerenciador de recursos para atribuir tarefas de aplicativos para o nó escravo para o processamento). Os processos de contentores são tarefas individuais para os aplicativos que estão sendo executados no cluster.

Cada aplicativo em execução tem uma tarefa ApplicationMaster dedicada, que também corre em um recipiente, e acompanha a execução de todas as tarefas em execução no cluster até que o aplicativo for concluído.

Com HBase em Hadoop 2, o modelo de recipiente ainda é seguida, como você pode ver:

image1.jpg

HBase em Hadoop 2 é iniciada pela Hoya aplicação Mestre, que solicita recipientes para os serviços HMaster. (Você precisa de vários serviços HMaster para redundância). A Hoya aplicação Mestre também solicita recursos para RegionServers, que também funcionam em contentores especiais.

A figura a seguir mostra os serviços implantados em nós Hadoop 1 escravos.

image2.jpg

Para Hadoop 1, cada nó escravo está sempre executando uma instância DataNode (que permite HDFS para armazenar e recuperar blocos de dados no nó escravo) e uma instância TaskTracker (que permite que o JobTracker para atribuir mapa e reduzir as tarefas para o nó escravo para o processamento) .

nós escravos têm um número fixo de slots de mapa e reduzir ranhuras para a execução do mapa e reduzir as tarefas respectivamente. Se o cluster está em execução HBase, um certo número de seus nós escravos terá de executar um serviço RegionServer. Quanto mais dados você armazena em HBase, os mais instâncias RegionServer você vai precisar.

Os critérios de hardware para nós escravos são bastante diferentes daquelas em que o mestre nodes- de fato, os critérios não são iguais aos encontrados em arquiteturas de referência hardware tradicionais para servidores de dados. Grande parte do burburinho em torno Hadoop é devido ao uso de hardware commodity nos critérios de projeto de clusters Hadoop, mas tenha em mente que mercadoria hardware não se refere a hardware consumidor da classe.

nós escravo Hadoop ainda requerem hardware de nível empresarial, mas na extremidade inferior do espectro de custos, especialmente para armazenagem.

Semelhante

menu