O que é consolidação de dados?
A grande maioria de nós está familiarizada com as transmissões de notícias, anúncios meteorológicos, discursos presidenciais e até instruções militares dadas a comandantes seniores. Em cada caso, os dados usados para criar essas sessões informativas são o resultado da consolidação de dados eficaz. Existem milhares de notícias publicadas a cada minuto, os padrões climáticos estão em constante mudança e briefings comerciais e militares são apresentados regularmente.
O material usado para criar cada apresentação, independentemente do público, deve ser combinado, analisado e controlado. Ao organizar as informações em uma quantidade utilizável e gerenciável, os indivíduos responsáveis são capazes de consolidar as informações e organizá-las em uma única fonte. Então, por meio da análise, eles podem extrair os componentes mais críticos para entrega.
Podemos definir o termo consolidação de dados como um processo durante o qual uma grande quantidade de informações é coletada, armazenada e combinada em um único arquivo de manipulação, normalmente dentro de um banco de dados. Normalmente, a consolidação é realizada usando um computador com aplicativos de software especiais, como uma planilha ou um programa de banco de dados, projetado para coletar, organizar e armazenar dados.
O Processo de Consolidação de Dados
A consolidação de dados envolve a coleta de uma grande quantidade de dados ou informações de vários servidores em rede, geralmente pertencentes a uma empresa, organização ou empresa. A consolidação de dados é, na verdade, uma das três técnicas de integração de dados em uso hoje. As outras técnicas são a propagação de dados , que inclui replicação de dados, e federação de dados, que permite a visualização de arquivos consolidados. A terceira técnica de integração de dados, consolidação de dados, consiste em duas tecnologias: Extrair, Transformar e Carregar (ETL) e Extrair, Carregar e Transformar (ELT), que será discutido posteriormente nesta lição.
O armazenamento, como bancos de dados, armazenamentos de dados e aplicativos de software associados, deve permitir e permitir a consolidação de dados de vários aplicativos. O objetivo é tornar os dados extraídos prontamente disponíveis e utilizáveis, permitindo relatórios e análises detalhadas. Vamos dar uma olhada mais detalhada em ETL e ELT como as duas tecnologias usadas por especialistas para configurar e executar a consolidação de dados.
Extrair, transformar e carregar
Extract, Transform and Load (ETL) foi a primeira tecnologia usada para carregar e armazenar dados recuperados de um processo de extração. Como o primeiro, ele se tornou o padrão para upload de dados para data warehouses e outras instalações de armazenamento. Com ETL, os dados são realocados de fontes de dados variáveis e as transformações são aplicadas no fluxo de dados e carregadas em seu contêiner de armazenamento designado.
Por exemplo, suponha que você deseja coletar registros de clientes de seu negócio de fotografia e reunir os dados em uma única tabela acessível. Como mostra o diagrama, dados e informações relevantes são extraídos de várias fontes e o esforço de consolidação começa. Quando concluídos, os dados transformados são combinados em um único registro dentro de um banco de dados consolidado e disponibilizados para o usuário.
 |
Extrair, carregar e transformar
Extrair, Carregar e Transformar (ELT) é a tecnologia mais recente e tira proveito dos novos avanços nas técnicas de processamento e armazenamento de dados. Ao contrário do ETL, o ELT extrai dados de tabelas existentes em um banco de dados, muitas vezes fazendo cópias, e começa a transformação imediatamente usando o servidor de banco de dados como plataforma de transformação. Assim que a transformação for concluída, os dados consolidados são reinseridos no banco de dados para pesquisas e análises subsequentes.
Em nosso exemplo de negócio de fotografia, o ELT extrai os dados aplicáveis e coloca todas as informações de nossos clientes em tabelas, que serão o local de armazenamento final dos dados consolidados. Aqui a consolidação é executada no banco de dados de destino. Este método elimina a transformação no fluxo de dados e conclui o processo de consolidação a partir das próprias tabelas de destino. Isso permite que a consolidação adicional ocorra, se necessário, para atender aos requisitos de formatação final.
 |
Resumo da lição
A consolidação de dados é o processo de combinar grandes quantidades de dados para formar informações úteis e gerenciáveis em um único arquivo ou banco de dados. Nesta lição, aprendemos sobre técnicas de integração como propagação de dados , que envolve replicação, e federação de dados , que permite a visualização de arquivos consolidados. Também discutimos Extrair, Transformar e Carregar (ETL) e Extrair, Carregar e Transformar (ELT) , que são usados para configurar e executar a consolidação de dados.