O que é mapeamento de dados?
Quando você pensa em mapeamento de dados , o que vem à mente? Você tem uma imagem em sua cabeça que inclui um mapa do mundo e todos os países, rios e cadeias de montanhas nele? Há muitos dados sobre isso! Mas, não, quando se fala em mapeamento de dados, as pessoas não estão se referindo a um mapa geográfico. Eles estão se referindo a um conceito mais técnico; um processo de descobrir como os dados de um aplicativo de computador ('app' para breve) ou banco de dados se relacionam com os dados em um aplicativo de computador ou banco de dados diferente.
Como é feito o mapeamento de dados?
Um modelo de dados é o termo usado para definir como os dados são organizados lógica e fisicamente em qualquer aplicativo de computador. Um conceito importante tanto na modelagem quanto no mapeamento de dados é garantir que cada registro de dados (combinação de muitos elementos de dados) possa ser identificado por um subconjunto exclusivo desses dados. Esse subconjunto exclusivo é conhecido como a chave do registro de dados . Um modelo de dados pode delinear que uma pessoa pode ser identificada de forma exclusiva usando seu número de telefone celular e seu código postal residencial, mesmo que todo o registro associado a essa pessoa também possa incluir seu número de telefone residencial, endereço de e-mail, endereço de correspondência residencial e seu nascimento encontro.
Agora que você está aliviado, ninguém vai questioná-lo sobre todos aqueles dados geográficos, talvez sua mente tenha acelerado e já esteja se perguntando: '' Por que alguém iria querer saber como os dados de um aplicativo se relacionam com os dados de outro aplicativo? ''
Digamos que você acabou de comprar um celular novo. Seu novo dispositivo é feito por um fabricante diferente do antigo. É provável que você queira simplesmente transferir todas as suas informações de contato (números de telefone, endereços e e-mails) do dispositivo antigo para o novo. Também é provável que seus dados de contato estejam armazenados em seu telefone antigo em um formato que não pode ser lido pelo novo telefone.
O mapeamento de dados envolve a análise de como mover dados de um modelo de dados para outro ou como mesclar dados de vários modelos de dados em um. Se o seu telefone antigo armazenava informações de contato no formato:
- Nome, Sobrenome, e-mail, telefone residencial, telefone celular, endereço comercial, endereço residencial, data de nascimento
E seu novo telefone armazena informações de contato no formato:
- Sobrenome, Nome, Inicial do meio, endereço residencial, endereço comercial, telefone residencial, telefone celular, e-mail
Simplesmente copiar as informações de seu antigo aplicativo de contato ou banco de dados para o novo não terá sucesso. O mapeamento de dados trata da criação de um conjunto de regras sobre como fazer essa conversão ou mesclagem de dados funcionar.
Por exemplo, se escritas em inglês, as regras podem ser mais ou menos assim:
- Coloque os dados do primeiro campo do registro antigo no segundo campo do novo registro.
- Coloque os dados do segundo campo do registro antigo no primeiro campo do novo registro. Se o elemento de dados não couber no novo campo porque os tamanhos dos campos são diferentes, em vez de enviar uma mensagem de erro, aceite o máximo de caracteres possível e descarte o resto.
Como você pode imaginar, este é um exemplo simplificado, mas dá uma ideia de como funciona o mapeamento de dados.
Ferramentas
As ferramentas de mapeamento de dados ajudam a gerenciar informações sobre os dados, além de simplesmente rastrear a origem e o local de destino dos dados. Na era atual, onde existe um aplicativo para isso , existem ferramentas disponíveis para ajudar os programadores de computador e analistas de dados com o mapeamento de dados. Eles podem selecionar uma ferramenta para ajudá-los, assim como você pode selecionar um aplicativo para o seu celular na app store, ou eles podem criar sua própria ferramenta na forma de uma planilha. Se você estiver interessado em como um aplicativo disponível comercialmente pode ajudar no mapeamento de dados, um produto a ser investigado é o Altova Mapforce, que é popular devido à sua compatibilidade com muitos tipos de arquivo.
Melhores Práticas
Embora um analista de dados possa usar uma ferramenta para auxiliar no mapeamento de dados, é responsabilidade do analista determinar quais dados serão mapeados e como as informações sobre esses dados serão capturadas. Essas decisões são tomadas usando as melhores práticas comuns entre aqueles que fazem mapeamento de dados de forma profissional.
Algumas dessas práticas recomendadas incluem:
- Manter relações entre os elementos de dados (duas pessoas com nomes diferentes moram na mesma casa e, portanto, têm o mesmo número de telefone residencial)
- Identificar e ocultar dados pessoais privados, como informações financeiras, informações de saúde ou um número de segurança social
- Identificar e determinar como resolver exceções de dados ou cenários em que os dados envolvidos não estão em conformidade com as regras (o que acontece se não houver nome ou sobrenome associado a um e-mail e número de telefone? E se uma pessoa tiver dois endereços comerciais, mas houver é apenas um campo de destino para endereço comercial?)
- Resolvendo problemas semânticos em que o mesmo dado é chamado de duas coisas diferentes (nem todas as culturas usam o termo 'sobrenome', mas em vez disso usam 'sobrenome' e, em vez de 'nome', use 'nome dado')
- Permitindo que o programador atribua valores padrão para campos nulos
- Permitir que o programador identifique as condições para lidar com certos tipos de dados. (Se um campo de número de telefone contém apenas 7 dígitos, justifique o campo à direita e deixe o código de área em branco)
- Garantir que os dados de todos os registros em um determinado campo sejam formatados da mesma maneira (os números de telefone devem ser parecidos com (xxx) xxx-xxxx e datas como mm / dd / aaaa)
- Fornecer um alerta de que nem todos os campos de dados estão sendo transferidos do modelo de dados antigo para o novo (Data de nascimento, em nosso exemplo, não é um campo no novo formato de registro)
Os analistas de dados sempre consideram como os dados serão usados e fisicamente como os dados serão armazenados, enquanto decidem quais problemas precisam ser resolvidos para o cenário de mesclagem ou conversão de dados em que estão trabalhando.
Resumo da lição
No mundo atual de tecnologia avançada e intensa de dados, o mapeamento de dados é um conceito-chave para tornar os dados em um aplicativo ou ambiente compreensíveis em outro. Aqueles de nós que estão cansados de redigitar nosso endereço e número de telefone (ou qualquer outro dado) em cada novo aplicativo que encontramos provavelmente ficarão satisfeitos em entender que existem práticas padrão para aproveitar nossos dados de maneira eficaz de locais onde eles residem atualmente novo software que gostaríamos de experimentar.