Middleware para Data Warehousing
Middleware é um software de computador que se conecta componentes de software. Em um ambiente de armazenamento de dados, os serviços de middleware são o conjunto de programas e rotinas que faça o seguinte:
Extrair dados a partir da fonte (ou fontes).
Certifique-se que dos dados corretos.
Mover os dados de todo o ambiente de plataforma para plataforma, conforme necessário.
Lidar com as transformações de dados necessários.
Carregar os dados no banco de dados do armazém de dados (ou bancos de dados).
Em um sentido mais formal, os itens na lista anterior são tratados por esses serviços de middleware:
seleção de dados e extração
garantia de qualidade de dados, parte I (no nível do componente)
movimentação de dados, parte I (também no nível do componente)
Os dados de mapeamento e transformação
garantia de qualidade de dados, parte II (depois da transformação ocorreu)
movimentação de dados, parte II (em ambiente de plataforma do armazém de dados)
carregamento de dados (para o data warehouse)
Esta figura ilustra como esses serviços de middleware fluir juntos em um ambiente de armazenamento de dados de tamanho moderado.
Mas o seu ambiente de armazenamento de dados pode ser diferente da mostrada nesta figura, em particular na área dos serviços de movimentação de dados. Um serviço de movimentação de dados é necessária a cada hora limites do sistema cruzamentos de dados. Seu quadro conceitual difere, dependendo dos detalhes de seu ambiente específico end-to-end.
Você absolutamente, precisa positivamente para planejar, projetar, e de outra maneira pensar em armazém middleware de dados em termos dos serviços individuais na lista anterior, em vez de em termos genéricos, tais como # Ferramentas 147 de extração. # 148- diversos fornecedores oferecem alguns, muitos, ou todos estes serviços como parte de um único produto ou um conjunto de produtos.
Mas uma ferramenta que tem fortes serviços de mapeamento e transformação, por exemplo, pode ser fraco em serviços de carregamento de dados, ou uma ferramenta que fornece um rico conjunto de serviços de extração pode ser menos eficaz no espaço de mapeamento e transformação, além de qualidade de dados garantia.
Antes de selecionar uma ferramenta para o seu projeto de data warehouse (se esse é o caminho que você tomar, em vez de codificação personalizada), certifique-se de que você tem uma boa idéia sobre os desafios específicos em seu ambiente. Se você tiver necessidades relativamente simples de extração de dados, por exemplo, mas os problemas de qualidade de dados desafiadores, se concentrar em encontrar a melhor ferramenta de garantia de qualidade disponíveis, mesmo que tenha apenas por isso capacidades de extração.
(Este conselho aplica-se mesmo que a ferramenta não tem capacidades de extração, caso em que, você tem que combiná-lo com outra ferramenta.)