Hadoop Distributed File System Commands Shell
o shell Hadoop é uma família de comandos que podem ser executados a partir de linha de comando do seu sistema operacional. O escudo tem dois conjuntos de comandos: um para manipulação de arquivos (semelhante em propósito e sintaxe para os comandos Linux que muitos de nós conhecemos e amamos) e outra para a administração Hadoop. A lista a seguir resume o primeiro conjunto de comandos para você, indicando que o comando faz, bem como o uso e exemplos, se for o caso.
gato: caminhos de origem cópias para stdout.
Uso: dfs HDFS -cat URI [URI # 133-]
Exemplo:
hdfs dfs -cat hdfs: //
/ file1 dfs HDFS-cat arquivo: /// file2 / user / hadoop / file3
chgrp: Altera a associação grupo de arquivos. Com -R, faz com que a mudança de forma recursiva por meio da estrutura de diretórios. O usuário deve ser o proprietário do arquivo ou o superusuário.
Uso: hdfs dfs -chgrp [-R] GROUP URI [URI # 133-]
chmod: Altera as permissões de arquivos. Com -R, faz com que a mudança de forma recursiva por meio da estrutura de diretórios. O usuário deve ser o proprietário do arquivo ou o superusuário
Uso: hdfs dfs -chmod [-R] URI [URI # 133-]
Exemplo:hdfs dfs -chmod 777test / data1.txt
chown: Altera o proprietário de arquivos. Com -R, faz com que a mudança de forma recursiva por meio da estrutura de diretórios. O usuário deve ser o superusuário.
Uso: hdfs dfs -chown [-R] [OWNER] [: [GROUP]] URI [URI]
Exemplo:hdfs dfs -chown -R hduser2 / opt / hadoop / logs
copyFromLocal: Funciona de forma semelhante ao colocar comando, exceto que a fonte é restrita a uma referência de arquivo local.
Uso: hdfs dfs -copyFromLocal
Exemplo: hdfs dfs entrada / docs / hdfs data2.txt -copyFromLocal: //localhost/user/rosemary/data2.txt
copyToLocal: Funciona de forma semelhante ao obter comando, exceto que o destino está restrito a uma referência de arquivo local.
Uso: hdfs dfs -copyToLocal [-ignorecrc] [-crc] URI
Exemplo: hdfs dfs -copyToLocal data2.txt data2.copy.txt
contagem: Conta o número de diretórios, arquivos e bytes sob os caminhos que correspondem ao padrão de arquivo especificado.
Uso: hdfs dfs -count [q]
Exemplo: hdfs dfs -count hdfs: //nn1.example.com/file1 hdfs: //nn2.example.com/file2
cp: Copia um ou mais arquivos de uma fonte especificada para um destino específico. Se você especificar múltiplas fontes, o destino especificado deve ser um diretório.
Uso: hdfs dfs -cp URI [URI # 133-]
Exemplo: hdfs dfs-cp / user / hadoop / file1 / user / hadoop / file2 / user / hadoop / dir
du: Exibe o tamanho do arquivo especificado, ou os tamanhos de ficheiros e directórios que estão contidos no diretório especificado. Se você especificar o -s opção, exibe um resumo agregado de tamanhos de arquivo em vez de tamanhos de arquivos individuais. Se você especificar o -h opção, formata os tamanhos de arquivo de uma forma "legível".
Uso: hdfs dfs -du [-s] [-h] URI [URI # 133-]
Exemplo: hdfs dfs -du / user / hadoop / dir1 / user / hadoop / file1
dus: Exibe um resumo de equivalente de arquivo tamanhos-a hdfs dfs -du -s.
Uso: hdfs dfs -dus
expurgar: Esvazia o lixo. Quando você apaga um arquivo, ele não é removido imediatamente do HDFS, mas é renomeado para um arquivo no /lixo diretório. Enquanto o arquivo permanece lá, você pode recuperá-lo se você mudar de ideia, embora apenas a cópia mais recente do arquivo excluído pode ser restaurado.
Uso: hdfs dfs -expunge
obter: Copia os arquivos para o sistema de arquivos local. Arquivos que falham a verificação de redundância cíclica (CRC) ainda pode ser copiado se você especificar o -ignorecrcopção. O CRC é uma técnica comum para a detecção de erros de transmissão de dados. arquivos de checksum CRC têm a .CRC extensão e são usados para verificar a integridade dos dados de outro ficheiro. Esses arquivos são copiados se você especificar o -CRC opção.
Uso: hdfs dfs -get [-ignorecrc] [-crc]
Exemplo: hdfs dfs -get / user / hadoop / LocalFile file3
getmerge: Concatena os arquivos em srce escreve o resultado para o arquivo de destino local especificado. Para adicionar um caractere de nova linha no final de cada arquivo, especifique o addnl opção.
Uso: hdfs dfs -getmerge
Exemplo:hdfs dfs -getmerge / user / hadoop / mydir / ~ / addnl result_file
ls: Retorna estatísticas para os arquivos especificados ou diretórios.
Uso: hdfs dfs -ls
Exemplo: hdfs dfs -ls / user / hadoop / file1
LSR: Serve como a versão recursiva de ls- semelhante ao comando Unix ls -R.
Uso: hdfs dfs -lsr
Exemplo: hdfs dfs -lsr / user / hadoop
mkdir: Cria diretórios em um ou mais modelos especificados caminhos. O seu comportamento é semelhante ao Unix mkdir -p comando, que cria todos os diretórios que levam até o diretório especificado se eles já não existem.
Uso: hdfs dfs -mkdir
Exemplo: hdfs dfs -mkdir / user / hadoop / dir5 / temp
moveFromLocal: Funciona de forma semelhante ao colocar comando, exceto que a fonte seja excluído após ter sido copiado.
Uso: hdfs dfs -moveFromLocal
Exemplo: hdfs dfs -moveFromLocal localfile1 localfile2 / user / hadoop / hadoopdir
mv: Move um ou mais arquivos de uma fonte especificada para um destino específico. Se você especificar múltiplas fontes, o destino especificado deve ser um diretório. Movendo arquivos nos sistemas de arquivos não é permitido.
Uso: hdfs dfs -mv URI [URI # 133-]
Exemplo: hdfs dfs -mv / user / hadoop / file1 / user / hadoop / file2
colocar: copia os arquivos do sistema de arquivos local para o sistema de arquivo de destino. Este comando também pode ler a entrada de stdin e escrever para o sistema de arquivo de destino.
Uso: hdfs dfs -put
Exemplo: hdfs dfs -put localfile1 localfile2 / user / hadoop / hadoopdir- hdfs dfs -put - / user / hadoop / hadoopdir (lê a entrada de stdin)
rm: Exclui um ou mais arquivos especificados. Este comando não exclui diretórios ou arquivos vazios. Para ignorar o lixo (se estiver ativado) e excluir os arquivos especificados imediatamente, especificar o -skipTrash opção.
Uso: hdfs dfs -rm [-skipTrash] URI [URI # 133-]
Exemplo: hdfs dfs -rm hdfs: //nn.example.com/file9
RMR: Serve como a versão recursiva de -rm.
Uso: hdfs dfs -rmr [-skipTrash] URI [URI # 133-]
Exemplo: hdfs dfs -rmr / user / hadoop / dir
setrep: Altera o fator de replicação para um arquivo ou diretório especificado. Com -R, faz com que a mudança de forma recursiva por meio da estrutura de diretórios.
Uso: hdfs dfs -setrep
Exemplo: hdfs dfs -setrep 3 -R / user / hadoop / dir1
estatísticas: Exibe informações sobre o caminho especificado.
Uso: dfs HDFS -stat URI [URI # 133-]
Exemplo: hdfs dfs -stat / user / hadoop / dir1
rabo: Exibe a última kilobyte de um arquivo especificado para stdout. A sintaxe apoia o Unix -f opção, o que permite que o ficheiro especificado para ser monitorizada. À medida que novas linhas são adicionadas ao arquivo por outro processo, tafligir atualiza a exibição.
Uso: hdfs dfs -tail [f] URI
Exemplo: hdfs dfs -tail / user / hadoop / dir1
teste: Retorna atributos do arquivo ou diretório especificado. Especifica -e para determinar se o arquivo ou diretório exists- -z para determinar se o arquivo ou diretório está vazio- e -d para determinar se o URI é um diretório.
Uso: hdfs dfs -test - [EZD] URI
Exemplo: hdfs dfs -test / user / hadoop / dir1
texto: Gera um arquivo de origem especificado no formato de texto. formatos de arquivo de entrada válidos são fecho eclair e TextRecordInputStream.
Uso: hdfs dfs -text
Exemplo: hdfs dfs -text /user/hadoop/file8.zip
touchz: Cria um novo arquivo, vazia de tamanho 0 no caminho especificado.
Uso: hdfs dfs -touchz
Exemplo: hdfs dfs -touchz / user / hadoop / file12