Modelador de Dados
3. Fluxo e Etapas
Fluxo e Etapas
Abaixo temos uma ilustração do fluxo padrão das informações utilizado na plataforma 4Insights:
1ª Etapa: Desenhar o modelo de dados no Modelador de Dados, no qual os objetos* são definidos. Eles são definidos na primeira etapa. Alguns objetos são necessários para o funcionamento correto, dentre eles:
a) Upload -Objeto de partida para definição do modelo de dados. Este objeto é obrigatório e os atributos e os campos das tabelas são definidos nele. Este objeto serve tanto como base para os demais objetos que serão construídos no modelo de dados, como também de base de integração para o plug-ins. Normalmente denominamos conceitualmente esta camada em BI, como Staging Area. Neste momento as informações já estão sendo convertidas em tabelas e por este motivo definimos neste objeto algumas regras, como chave primária e chave de atualização (que iremos detalhar neste treinamento). Este objeto também tem como objetivo criar uma camada denominada Work e nela será realizado o processo de tratamento de dados.
b) Tabelas - Neste objeto iremos definir as tabelas de Fatos/Dimensões ou Lookup. Os objetos e tabelas são construídos através do objeto Upload, utilizando o mesmo conceito de arrastar e soltar.
Alguns objetos ainda são criados pela ferramenta.
- O primeiro é a camada de rejeição dos dados. Para cada tabela de Upload será criada uma tabela de Reject (rejeição), ou seja, uma camada de tratamento de dados para os dados que não passarem pela validação definida no modelo de dados.
- O outro é a camada de processamento (tabelas temporárias). Estas tabelas são criadas no momento do processamento e eliminadas ao término.
O 4Insights possui um padrão de nomenclatura próprio, que tem como objetivo facilitar a utilização dos objetos e interpretação de cada camada.
Mas caso você tenha a necessidade de ter uma nomenclatura customizada para os objetos, o 4insights também possibilita sua modificação através da tela de "Propriedades" que é encontrada no menu do canto esquerdo na barra de ferramentas do modelador de dados.
A partir das tabelas de fatos e dimensões, outras tabelas serão criadas. São elas as tabelas 'Agregadas' (resumo de uma tabela de fatos), 'Hierarquia entre Lookups' (que são tabelas para se desenhar os modelos Snow Flake/Star Schema/Híbrido). No exemplo abaixo, temos um modelo de dados no qual as caixas laranjas representam as dimensões e as caixas azuis representam as informações de fatos.
2ª Etapa: Exemplificando a construção de processos de extração das informações e entregá-las para o plug-in do 4insights.
Nesta etapa exemplificaremos utilizando uma ferramenta open source chamada PDI (Pentaho Data Integration). No exemplo abaixo, a ferramenta está conectada em um banco de dados Oracle ordenando os dados, removendo as duplicações e entregando os dados para o plug-in.
Esta ferramenta é bem completa e irá facilitar todo o processo de extração de dados, bem como simplificar e acelerar esta etapa do processo. Para saber mais clique aqui.
* São objetos "Tabela de Upload", "Tabela Fatos/Dimensões".