Imprimir este capítuloImprimir este capítulo

Data Lake

3. Importar ou Exportar


Importar

Para iniciar uma importação de tabelas para o data lake, é muito  simples. Basta selecionar o botão "Importar" localizado no menu superior esquerdo, selecionar o formato de arquivo, dentre os formatos disponíveis temos JSON, CVS e AWS Glue. 

  • Para JSON - clique no botão "Selecione um arquivo" e navegue até o arquivo em um diretório local. Você pode utilizar a opção do 4Insights para exportar para gerar o arquivo no formato JSON. Ou seja, esta opção é utilizada quando se deseja exportar os metadados e importar novamente e serve como uma ferramenta para transportar as informações entre ambientes.
  • Para CSV - marque a caixa "Contém Cabeçalho" se o arquivo tiver cabeçalho, e então clique no botão "Selecione um arquivo" e navegue até o arquivo em um diretório local.
    Aqui você pode baixar um arquivo no formato CSV exemplo de como importar o metadados através de um arquivo CSV:


Mapping Data Type

COLUMN_DATATYPE   Target Data Type
1 String
2 Integer
3 Datetime
4 Number
5 Boolean
7 Date
8 BigNumber
9
10
BigInteger
Decimal


    Esta opção pode ser utilizada para importar um metadados de um banco de dados. Todo banco de dados possui um catálogo de informações das tabelas do banco de dados. Utilize a próxima seção para recuperar este catálogo com as query que extraem estas informações que poderão ser importadas e acelerar a importação destas informações sem a necessidade de digitação.


  • Para AWS Glue - informe o access key, secret key e a região, marque a caixa "Substituir se existir" caso seja necessário e logo após em "Get Glue Databases", e então selecione os bancos, tabelas e colunas desejadas. Após ter finalizado a seleção, clique em "Importar Tabelas Selecionadas".
   Esta opção é utilizada para importar as informações do catálogo das tabelas do serviço da AWS GLUE. Da mesma maneira esta opção é utilizada para importar as informações sem a necessidade de digitação. Observe que o AWS GLUE possui um serviço "crawler" que também pode ser utilizado para importar o catálogo das tabelas, arquivos (CSV, JSON, Bancos de Dados JDBC, DynamoDB) Ou seja, pode ser uma ferramenta muito útil para acelerar o processo de importação de tabelas.