Importando dados para Hive com Sqoop

Aqui, você importar toda a ordem de serviço de banco de dados diretamente do MySQL em Hive e executar uma consulta HiveQL contra o banco de dados recém-importado no Apache Hadoop. A listagem a seguir mostra como ele é feito.

colmeia> criar banco de dados serviceorderdb-OKTime tomadas: 1.343 secondshive> uso serviceorderdb-OKTime tomadas: 0,062 segundos $ Sqoop importação jdbc --connect: mysql: // localhost / serviceorderdb - nome de usuário raiz -P - Mesa productinfo - colmeia-import - colmeia-table serviceorderdb.productinfo -m senha 1Digite: ... 13/08/16 15:17:08 INFO hive.HiveImport: import hive completa $ Sqoop importação jdbc --connect: mysql: /. / localhost / serviceorderdb - nome de usuário raiz -P - mesa customercontactinfo - colmeia-import - colmeia-table serviceorderdb.customercontactinfo -m senha 1Digite: ... 13/08/16 17:21:35 INFO . hive.HiveImport: import hive completa $ Sqoop importação jdbc --connect: mysql: // localhost / serviceorderdb - nome de usuário raiz -P - serviceorders tabela - colmeia-import - serviceorderdb.serviceorders-mesa colmeia -m senha 1Digite: ... 13/08/16 17:26:56 INFO hive.HiveImport: import Hive completa.

Quando as operações de importação são completos, você corre o show tables comando para listar as tabelas recém-importadas (veja a listagem a seguir):


colmeia> show tables-OKcustomercontactinfoproductinfoserviceordersTime tomadas: 0,074 segundos


Em seguida, execute uma consulta Hive para mostrar quais tecnologias Apache Hadoop tem ordens de serviços abertas no banco de dados:

colmeia> productdesc SELECT FROM productinfo> INNER JOIN serviceorders> ON productinfo.productnum = serviceorders.productnum -... OKSuporte HBase ProdutoSuporte Hive ProdutoSuporte Sqoop ProdutoSuporte Pig ProdutoTempo necessário: 28.552 segundos

Você pode confirmar os resultados. Você tem quatro ordens de serviços abertas sobre os produtos em negrito. A operação de importação Sqoop Hive funcionou, e agora a empresa de serviços pode alavancar Hive para consultar, analisar e transformar dados estruturados a sua ordem de serviço.

Além disso, a empresa agora pode combinar seus dados relacionais com outros tipos de dados (talvez não estruturados) como parte de quaisquer novas aplicações analíticas Hadoop. Muitas possibilidades já existem com o Apache Hadoop sendo parte da estratégia geral de TI!

» » » » Importando dados para Hive com Sqoop