Arquitetura
1. Cloud - AWS
Uma das arquiteturas mais utilizadas pelos clientes do 4insights
é a usando a Amazon Web Services (AWS), pois possui uma gama de serviços que
são compatíveis e integrados, e neste tópico iremos detalhar como funciona e
como implantar a arquitetura, iremos iniciar esse documento ilustrando de forma
visual, em formato de um diagrama a arquitetura completa desta sugestão, que
consiste na elaboração de uma arquitetura utilizando o 4insights para criar um
Data Warehouse usando o Amazon Redshift ou
Amazon EMR.
Arquitetura Data Warehouse
Para essa primeira proposta consiste na
criação de um ambiente onde será possível construir um repositório de dados em
seu formato natural (Data
Lake), possibilitando o consumo dos dados num repositório único, que
podem ser usados não só pela área de TI, como todas áreas que queiram realizar
algum tipo de análise nos dados da companhia. Esse repositório será criado
utilizando os serviços S3 (Simple Storage Service), Athena e Glue, que serão
detalhados no decorrer desse tópico. Também será construído um Data Warehouse
que irá conter os dados organizados em formato Dimensional, possibilitando a análise
de forma mais intuitiva e flexível, ajudando a empresa a tomar as decisões
importantes, nesta proposta o Data Warehouse é alimentado pelo Data
Lake, sendo assim todo o processamento fica no ambiente AWS,
diminuindo o custo com servidores locais, pois toda a arquitetura é escalável,
e paga somente de acordo com a utilização, sendo possível aumentar a capacidade
de acordo com a necessidade. Para criação do Data Warehouse demonstraremos duas
maneiras que também serão detalhadas no decorrer deste tópico, uma delas utilizado
o serviço Amazon Redshift e Spectrum, a outra utilizando a estrutura de Big Data
da AWS
(EMR – Elastic Mapreduce). O 4insights nesta proposta tem um papel fundamental,
pois é nele que iremos criar o catalogo das tabelas do Data
Lake garantindo assim a governança e rastreabilidade dos recursos
que estão disponíveis para consultas, e também que criamos a modelagem com o
grande diferencial de ser conectada ao Data Warehouse físico, dessa forma toda
a modelagem que é criada no 4insights é transformada no processo de carga dos
dados, e nele também criamos o agendamento e o fluxo das cargas que podem ser
feitas em formato Batch ou em Near Real-Time. Por último, é possível criar
DataSet's agregados, transformando e calculando os dados do Data Warehouse
através da funcionalidade de SelfService, essa arquitetura é recomendada para
os clientes que queiram uma estrutura robusta é com custo acessível onde o BI
fica totalmente no ambiente Cloud.