Comandos de administração do Hadoop

Qualquer administrador de Hadoop vale o seu sal deve dominar um conjunto abrangente de comandos para administração do cluster. A lista a seguir resume os comandos mais importantes, o que indica que o comando faz, bem como sintaxe e exemplos. Conhecê-los, e você vai avançar um longo caminho ao longo do caminho para a sabedoria Hadoop.

• equilibrista: Executa o utilitário de balanceamento de cluster. O valor limite especificado, o que representa uma percentagem da capacidade do disco, é usado para substituir o valor limite padrão (10 por cento). Para parar o processo de reequilíbrio, pressione Ctrl + C.

  Sintaxe:hadoop balanceador [-threshold ]

  Exemplo: hadoop balanceador -threshold 20

• daemonlog: Obtém ou define o nível de registro para cada daemon (também conhecido como um serviço). liga-se a http: // host: port / logLevel log = nome e impressões ou define o nível de log do daemon que está sendo executado em host: porta. daemons do Hadoop gerar arquivos de log que ajudam a determinar o que está acontecendo no sistema, e você pode usar o daemonlog comando para alterar temporariamente o nível de log de um componente Hadoop quando você está depurando o sistema. A mudança torna-se eficaz quando o daemon é reiniciado.

  Sintaxe: hadoop daemonlog -getlevel - hadoop daemonlog -setlevel

  Exemplo: hadoop daemonlog -getlevel 10.250.1.15:50030 org.apache.hadoop.mapred.JobTracker- hadoop daemonlog -setlevel 10.250.1.15:50030 org.apache.hadoop.mapred.JobTracker DEBUG

• DataNode: Executa o serviço DataNode HDFS, que coordena o armazenamento em cada nó escravo. Se você especificar -rollback, o DataNode é revertida para a versão anterior. Pare o DataNode e distribuir a versão anterior Hadoop antes de usar esta opção.

  Sintaxe: hadoop DataNode [-rollback]

  Exemplo: hadoop -rollback DataNode

• dfsadmin: Executa um número de Hadoop Distributed File System (HDFS) operações administrativas. Use o -Socorro opção para ver uma lista de todas as opções suportadas. As opções genéricos são um conjunto comum de opções suportadas por vários comandos.

  Sintaxe: Hadoop dfsadmin [GENERIC_OPTIONS] [-report] [-safemode entrar | deixar | obter | esperar] [-refreshNodes] [-finalizeUpgrade] [-upgradeProgress estatuto | detalhes | vigor] [filename -metasave] [-setQuota ...] [-clrQuota ...] [-restoreFailedStorage Verdadeiro | falso | cheque] [-help [cmd]]

• mradmin: Executa uma série de operações administrativas MapReduce. Use o -Socorro opção para ver uma lista de todas as opções suportadas. Mais uma vez, as opções genéricos são um conjunto comum de opções que são suportadas por vários comandos. Se você especificar -refreshServiceAcl, recarrega o arquivo de políticas de autorização de nível de serviço (JobTracker recarrega o arquivo de políticas de autorização) - -refreshQueues recarrega as listas de controle de acesso fila (ACLs) e estadual (JobTracker recarrega a mapred-queues.xml Arquivo)- -refreshNodes refresca a anfitriões informações no JobTracker- -refreshUserToGroupsMappings refresca user-to-grupos mappings- -refreshSuperUserGroupsConfiguration refreshes grupos de proxy de superusuário mappings- e -ajudar [cmd] exibe a ajuda para o comando dado, ou para todos os comandos se nenhum for especificado.

  Sintaxe: hadoop mradmin [GENERIC_OPTIONS] [-refreshServiceAcl] [-refreshQueues] [-refreshNodes] [-refreshUserToGroupsMappings] [-refreshSuperUserGroupsConfiguration] [-help [cmd]]

  Exemplo: hadoop mradmin -help -refreshNodes

• JobTracker: Executa o nó MapReduce JobTracker, que coordena o sistema de processamento de dados para Hadoop. Se você especificar -dumpConfiguration, a configuração que é usado pelo JobTracker ea configuração da fila no formato JSON são escritos na saída padrão.

  Sintaxe: hadoop JobTracker [-dumpConfiguration]

  Exemplo: hadoop -dumpConfiguration JobTracker

• namenode: Executa o NameNode, que coordena o armazenamento para todo o cluster Hadoop. Se você especificar -formato, NameNode é iniciado, formatado e, em seguida stopped- com -atualização, NameNode começa com a opção de atualização após uma nova versão Hadoop é distributed- com -rollback, NameNode é revertida para a versão anterior (lembre-se de parar o cluster e distribuir a versão anterior Hadoop antes de usar esta opção) - com -finalizar, o estado anterior do sistema de arquivo é removido, a atualização mais recente se torna permanente, a reversão não está mais disponível, eo NameNode é stopped- finalmente, com -importCheckpoint, uma imagem é carregado do diretório de ponto de verificação (conforme especificado pelo fs.checkpoint.dir propriedade) e salvo no diretório atual.

  Sintaxe: hadoop namenode [-format] | [-upgrade] | [-rollback] | [-finalize] | [-importCheckpoint]

  Exemplo: hadoop -finalize namenode

• namenode secundário: Executa o NameNode secundário. Se você especificar -checkpoint, um ponto de verificação na NameNode secundário é realizado se o tamanho do EditLog (um registo de transacções que grava cada mudança que ocorre para os metadados sistema de ficheiros) é maior do que ou igual a fs.checkpoint.size- especificamos -força e um ponto de verificação é realizada independentemente do EditLog SIZE- especificar -geteditsize e o tamanho EditLog é impresso.

  Sintaxe: hadoop secondarynamenode [-checkpoint [força]] | [-geteditsize]

  Exemplo: hadoop secondarynamenode -geteditsize

• TaskTracker: Executa um nó MapReduce TaskTracker.

  Sintaxe: TaskTracker hadoop

  Exemplo: TaskTracker hadoop