Arquitetura

1. Cloud - AWS

Uma das arquiteturas mais utilizadas pelos clientes do 4insights é a usando a Amazon Web Services (AWS), pois possui uma gama de serviços que são compatíveis e integrados, e neste tópico iremos detalhar como funciona e como implantar a arquitetura, iremos iniciar esse documento ilustrando de forma visual, em formato de um diagrama a arquitetura completa desta sugestão, que consiste na elaboração de uma arquitetura utilizando o 4insights para criar um Data Warehouse usando o Amazon Redshift ou
Amazon EMR.

Arquitetura Data Warehouse

Para essa primeira proposta consiste na criação de um ambiente onde será possível construir um repositório de dados em seu formato natural (Data Lake), possibilitando o consumo dos dados num repositório único, que podem ser usados não só pela área de TI, como todas áreas que queiram realizar algum tipo de análise nos dados da companhia. Esse repositório será criado utilizando os serviços S3 (Simple Storage Service), Athena e Glue, que serão detalhados no decorrer desse tópico. Também será construído um Data Warehouse que irá conter os dados organizados em formato Dimensional, possibilitando a análise de forma mais intuitiva e flexível, ajudando a empresa a tomar as decisões importantes, nesta proposta o Data Warehouse é alimentado pelo Data Lake, sendo assim todo o processamento fica no ambiente AWS, diminuindo o custo com servidores locais, pois toda a arquitetura é escalável, e paga somente de acordo com a utilização, sendo possível aumentar a capacidade de acordo com a necessidade. Para criação do Data Warehouse demonstraremos duas maneiras que também serão detalhadas no decorrer deste tópico, uma delas utilizado o serviço Amazon Redshift e Spectrum, a outra utilizando a estrutura de Big Data da AWS
(EMR – Elastic Mapreduce). O 4insights nesta proposta tem um papel fundamental, pois é nele que iremos criar o catalogo das tabelas do Data Lake garantindo assim a governança e rastreabilidade dos recursos que estão disponíveis para consultas, e também que criamos a modelagem com o grande diferencial de ser conectada ao Data Warehouse físico, dessa forma toda a modelagem que é criada no 4insights é transformada no processo de carga dos dados, e nele também criamos o agendamento e o fluxo das cargas que podem ser feitas em formato Batch ou em Near Real-Time. Por último, é possível criar DataSet's agregados, transformando e calculando os dados do Data Warehouse através da funcionalidade de SelfService, essa arquitetura é recomendada para os clientes que queiram uma estrutura robusta é com custo acessível onde o BI fica totalmente no ambiente Cloud.