4Insights

Criar um ambiente é uma maneira de separar as responsabilidades, isolando totalmente os dados que serão carregados,  o repositório de arquivos e parâmetros.

Para criar um ambiente, selecione o botão “Ambientes” localizado no menu de ferramentas do Modelador de Dados e começar a configuração em um formulário.

Informações do Ambiente

Em “Informações de Ambiente” é possível selecionar um ambiente de origem ou iniciar um ambiente do zero. Ao determinar um ambiente de origem, a ferramenta cria um fluxo no qual é permitido migrar o modelo de um ambiente para outro, como por exemplo, migrar o ambiente de desenvolvimento para o ambiente de homologação. Além disso, existe uma trava de edição para o ambiente, e garante que a equipe siga o fluxo determinado na configuração. Ou seja, caso o botão "Permitir Edição" de homologação esteja desligado, o usuário será obrigado a realizar as alterações do modelo no ambiente de desenvolvimento e migrar para o ambiente de homologação sempre que necessário sem a possibilidade de modificar o modelo diretamente no ambiente de homologação. Porém, se o botão permitir edição esteja ligado, será possível modificar diretamente no ambiente de homologação e devolver para o ambiente de desenvolvimento, contudo esta é uma prática não recomendada.

Parâmetros Gerais

O 4Insights possui um mecanismo que que valida as chaves primárias e estrangeiras, os campos de valores pré-definidos (valores de checagem) e outras consistências que são definidas durante a fase de modelagem. Quando os dados são criticados ou rejeitados por este mecanismo, eles são armazenados em tabelas separadas no banco de dados. Por exemplo, quando você determina uma tabela de upload chamada "in_vendas", o 4Insights cria uma tabela chamada "r_in_vendas" e, se algum dado for rejeitado, será armazenado nesta tabela.

O parâmetro "quantidade de dias de rejeições" é o parâmetro que controla a quantidade de dias que as informações rejeitadas serão guardadas, após expirada esta quantidade de dias, o sistema elimina estes dados rejeitados.

Configuração da Carga

O parâmetro "URL do 4Insights" é o parâmetro que configura o servidor onde módulo do 4Insights Engine está sendo executando, ou seja, o endereço por onde será acessado.

Tipo de  Engine

Nesta opção, você deve indicar se este ambiente irá trabalhar com Banco de Dados ou Hadoop.

Para configuração "Banco de Dados" acesse o módulo Banco de Dados

Para configuração "Hadoop" acesse o módulo de configuração Hadoop

  

Módulo de Tempo

O módulo tempo é uma dimensão padrão do 4Insights e comum para todos, pois consideramos que toda informação precisa ser analisada no decorrer do tempo, e por este motivo é necessário incluir este módulo no algorítimo do 4Insights e tanto a carga quanto o desenho não precisam ser desenvolvidos. Os parâmetros deste módulo são dois: o primeiro é "início da carga" que determina o primeiro dia em que as informações de tempo serão armazenadas no banco de dados. O segundo parâmetro determina a quantidade de dias que as informações serão carregadas à partir da data do processo (Data atual). Quando o processo de carga for executado, a ferramenta irá incluir as informações deste modelo no banco de dados sem a necessidade de intervenção de uma programação.

Parâmetros de Flat Files

O 4Insights Plug-in (ETL) converte as informações para um padrão de Flat File e transporta estes arquivos para os repositórios, por este motivo é necessário informar em qual repositório estes arquivos deverão ser armazenados.

O parâmetro "Tipo de repositório" determina se o repositório é do tipo Storage (pasta do sistema operacional), AWS S3  (repositório de arquivos da Amazon) ou Azure Blob (repositório de arquivos da Microsoft). Portanto, os parâmetros  são diferentes conforme o seu tipo.

Para o tipo "Storage": o "Local do repositório" é a pasta na qual os arquivos serão armazenados, por exemplo "/home/dwupload/DATA_FILE"; "Nome do host" é o servidor onde será armazenado; "usuário" e "senha" são as credenciais da máquina. A conexão que será utilizada quando o tipo for Storage é SFTP e o usuário precisa ter privilégios suficientes para ler e escrever na pasta informada.

Enquanto isso, para tipo AWS S3,  "Access Key", "Secret Key", "Region Name", "Bucket Name" e "Local Repository" são os parâmetros de configuração do serviço S3 da Amazon. Para maiores detalhes,  clique aqui.

Para configuração do Azure Blob, será necessário informar o nome da conta, chave da conta, nome do contêiner e o local do repositório. 

Para mais informações, Clique aqui

Para  configurar os parâmetros de log, será necessário indicar apenas o local do repositório.

Enquanto que para a configuração dos parâmetros de chave-valor, é necessário especificar duas opções, exemplo: 

• Chave - usada para identificar qual informação está no campo "Valor".
  
• Valor - pode ser o nome de uma tabela.