Data Flow

1. Introdução

Iniciando sem Fluxo de Dados

O 4Insights é uma solução de várias empresas e vários ambientes. Consulte o Módulo de  Criação de Empresa deste treinamento para obter detalhes sobre como cadastrar novas empresas. Consulte também o tópico Configurando Ambientes para configurar ambientes virtuais (como desenvolvimento; homologação; QA e produção). 

Com uma empresa e ambiente configurado, para desenvolver o fluxo de dados, deve-se selecione uma empresa e, em seguida, o ambiente. Agora o Data Flow está pronto para ser usado.

O Data Flow é uma ferramenta de fluxo de dados, você pode fazer o desenho de todo o fluxo de processo desejado de acordo com o  modelo criado no Data Modeler.

Configurar ambiente no Data Flow é mais simples ainda. Basta nomear, selecionar o "Ambiente de Origem" (caso haja necessidade de efetuar migração de ambientes), marque a caixa "Permitir Edição" e por  último especifique o local do repositório.

2. Criando Objeto

Adicionando Objetos

Para adicionar objetos ao seu Data Flow, clique no  botão "+" e selecione o tipo de objeto, Workflow ou Dataflow.

• Workflow - é o objeto que terá o desenho do fluxo de trabalho de todo o processo, ou seja, podemos ter processos de Dataflow dentro do Workflow trabalhando em paralelo. 
• Dataflow - é o objeto que terá o desenho do fluxo de trabalho dos dados no processo, dentro do dataflow podemos ter várias execuções simultâneas.

3. Criando Conexão

Conectando o Data Flow

• Plugin 4insights: devemos passar como parâmetros o nome da conexão, id do cliente, segredo do cliente e o ambiente do Data Modeler que será efetuada a conexão, agora é só salvar.
  
• Conexão SSH: para esta conexão devemos passar o nome da conexão, nome  do host, usuário e autenticação (senha ou chave privada). Feito isso poderá testar se a conexão está ok  clicando em "Testar Conexão", se estiver tudo certo basta salvar.

4. Criar Módulos

Adicionando Módulos

Após a criação da conexão, já podemos começar o nosso desenho de fluxo de dados. Primeiro vamos criar um objeto workflow com o nome "WF-RETAIL" e mais um dataflow chamado "DIMS". Depois disso podemos arrastar os módulos disponíveis no menu a esquerda para a área de trabalho, como na imagem abaixo.

Módulos SSH

Para criar um módulo SSH temos duas opções para o servidor de execução: "Neste servidor" executa no servidor local. E a opção "Remota" usando a conexão criada de acordo com o passo Criando Conexão deste treinamento. 

5. Executando Módulos

Execução dos Módulos

Após realizar a criação dos objetos necessários, a execução dos módulos pode ser executada simplesmente clicando no botão play, a execução será realizada de acordo com o desenho, por exemplo, após terminar a execução do primeiro módulo, o segundo somente será executado se o primeiro não houver erro.

No exemplo da imagem abaixo, o último módulo não pôde ser executado pois houve erro em um dos módulos anteriores a ele.

6. Agendador

Agendador de Tarefas

O agendador de tarefas, automatiza o processo de execução programada. Tendo as opções abaixo disponíveis:

7. Envio de e-mail

Notificação via E-mail

Para o envio de e-mail para este endereço móvel ser usado.

1. $ {flow_name}

2. $ {flow_processid}

3. $ {flow_errors}

No exemplo da imagem abaixo, Demonstra como usar a configuração de envio de e-mail.

8. Exporta DataSet

Exportar o DataSet

No exemplo da imagem abaixo, Demonstra como usar a configuração de export DataSet.

9. Wait Tables

Podemos criar um processo de Wait Tables do Data Lake

Como a carga das tabelas no Data Lake são assíncronas, e o processo de carga do Data Warehouse necessita de um fluxo de carga com dependências, este processo cria uma rotina composta de procedures e shell´s, que pode ser criados na máquina do 4Insights/metadados Mysql com objetivo de criar grupos de tabelas interdependentes, entre a carga do Data Lake e o fluxo de carga do Workflow.

Estas procs / shells podem ser baixados cliando aqui: