Modelador de Dados
8. Tabela de Upload
Para inciar o processo de elaboração da dimensão de fatos, abra o módulo e clique com o botão direito do mouse sobre qualquer parte
da área de trabalho do
modelador de dados e selecione "Adicionar elemento" e selecionar o tipo "Upload". Agora é possível adicionar atributos, associar atributos de outros módulos à este elemento
Upload e importar atributos, esse assunto será detalhado melhor no próximo tópico, como mostra a imagem abaixo. Para entender o motivo, verifique tópico
Fluxo e Etapas. Para isto, crie a tabela de Upload, clicando com o botão direito do mouse e selecione a opção
"Adicionar Elemento".
Selecione a opção "Upload" na caixa de seleção "Tipo", informe um nome funcional (Name) e um nome físico (Internal Name) para a tabela de upload, após definir essas informações, agora você deve escolher o tipo de entrada (Flat File ou Staging Area)
Flat File
Ao selecionar essa opção o 4insights irá utilizar um arquivo no formado CSV para realizar a carga dos dados para da tabela de Upload, para isso é necessário utilizar o plug-in para as ferramentas de ETL pois ele se encarregará de criar esse arquivo e transferir para o repositório correto, esse repositório foi definido na seção "Parâmetros do Flat File" que foi configurado na criação de um novo ambiente, e ao iniciar o processo de carga, o 4insights vai identificar os arquivos à serem processados e iniciará a carga deles para a tabela de Upload
Obs.: Cara banco de dados possui uma forma especifica de carregamento de arquivos para o banco de dados, mas o 4insights se encarregará de usar a melhor estrategia para a carga dos arquivos.
Staging Area
Ao selecionar essa opção o 4insights cria uma tabela com a mesma estrutura da tabela de Upload, que será utilizada para que ferramentas externas possam fazer carga de dados para essa tabela, como por exemplo uma fila de eventos de um processo de "Near Real Time", e quando o módulo é executado os dados dessa tabela são carregados na tabela de Upload e o processo segue normalmente, porém em alguns cenários não existe um processo externo para carregamento dessa tabela. para solucionar esse problema existe a opção "com query", quando habilitada essa opção abre um campo de texto para que possa ser inserida a query de insert na tabela de Staging, um caso de uso dessa funcionalidade é carga dos dados vindos de um Data Lake, essa prática é muito comum, quando utilizando o ambiente AWS, sendo assim a necessidade de uma ferramenta externa para carregar a tabela de Staging Area é mitigada.
Por padrão o 4insights realiza um TRUNCATE na tabela de Staging Area no final do processo, para limpar a tabela por completo, mas em alguns cenários durante o processo de carga são inseridos novos registros nessa tabela. e usando o TRUNCATE, haveria perca nos dados, para solucionar esse problema basta habilitar a opção "Habilitar Modo Transacional" que ao marcar essa opção no final do processo o 4insights realiza um DELETE pelas chaves da tabela, dessa forma somente os dados que entraram nessa carga serão apagados, e os dados novos serão mantidos para serem carregadas na próxima carga.
Obs.: Esse campo de query pode contém mais de uma query, e deve ser separada por ponto e virgula (;), lembrando que o objetivo desse campo e a carga na tabela de Staging Area.