DP-203: Data Engineering on Microsoft Azure

1 - Introdução à engenharia de dados no Azure

O que é a engenharia de dados

Conceitos importantes sobre engenharia de dados

Engenharia de dados no Microsoft Azure

2 - Introdução ao Azure Data Lake Storage Gen2

Entender o Azure Data Lake Storage Gen2

Habilite o Azure Data Lake Storage Gen2 no Armazenamento do Azure

Comparar o Azure Data Lake Storage com o Armazenamento de Blobs do Azure

Entenda as etapas do processamento de big data

Use o Azure Data Lake Storage Gen2 em cargas de trabalho de análise de dados

3 - Introdução ao Azure Synapse Analytics

O que é o Azure Synapse Analytics

Como o Azure Synapse Analytics funciona

Quando usar o Azure Synapse Analytics

4 - Usar o pool de SQL sem servidor do Azure Synapse para consultar arquivos em um data lake

Entender as funcionalidades e os casos de uso do pool de SQL sem servidor do Azure Synapse

Consultar arquivos usando um pool de SQL sem servidor

Criar objetos de banco de dados externos

5 - Usar pools de SQL sem servidor do Azure Synapse para transformar dados em um data lake

Transformar arquivos de dados com a instrução CREATE EXTERNAL TABLE AS SELECT

Encapsular transformações de dados em um procedimento armazenado

Incluir um procedimento armazenado de transformação de dados em um pipeline

6 - Criar um banco de dados Lake no Azure Synapse Analytics

Entender os conceitos do banco de dados Lake

Explorar modelos de banco de dados

Criar um banco de dados Lake

Usar um banco de dados Lake

7 - Analisar dados com o Apache Spark no Azure Synapse Analytics

Conhecer o Apache Spark

Usar o Spark no Azure Synapse Analytics

Analisar dados com o Spark

Visualizar os dados com o Spark

8 - Transformar dados com o Spark no Azure Synapse Analytics

Modificar e salvar dataframes

Particionar arquivos de dados

Transformar dados com o SQL

9 - Usar o Delta Lake no Azure Synapse Analytics

Compreender o Delta Lake

Criar tabelas do Delta Lake

Criar tabelas de catálogo

Usar o Delta Lake com tipo de dados de streaming

Usar o Delta Lake em um pool de SQL

10 - Analisar dados em um data warehouse relacional

Criar um esquema de data warehouse

Criar tabelas de data warehouse

Carregar tabelas de data warehouse

Consultar um data warehouse

11 - Carregar dados em um data warehouse relacional

Carregar tabelas de preparo

Carregar tabelas de dimensões

Carregar tabelas de dimensões temporais

Carregar dimensões variáveis lentas

Carregar tabelas de fatos

Executar a otimização pós-carregamento

12 - Criar um pipeline de dados no Azure Synapse Analytics

Entender os pipelines no Azure Synapse Analytics

Criar um pipeline no Azure Synapse Studio

Definir fluxos de dados

Executar um pipeline

13 - Usar notebooks do Spark em um pipeline do Azure Synapse

Noções básicas sobre notebooks e pipelines do Synapse

Usar uma atividade de notebook do Azure Synapse em um pipeline

Use parâmetros em um notebook

14 - Planejar o processamento transacional e analítico híbrido usando o Azure Synapse Analytics

Entender os padrões do processamento transacional e analítico híbrido

Descrever o Link do Azure Synapse

15 - Implementar o Link do Azure Synapse com o Azure Cosmos DB

Habilitar a conta do Cosmos DB para usar o Link do Azure Synapse

Criar um contêiner habilitado para repositório analítico

Criar um serviço vinculado para Cosmos DB

Consultar dados do Cosmos DB com o Spark

Consultar o Cosmos DB com o SQL do Synapse

16 - Implementar Link do Azure Synapse para SQL

O que é o Link do Azure Synapse para SQL?

Configurar o Link do Azure Synapse para Banco de Dados SQL do Azure

Configurar o Link do Azure Synapse para SQL Server 2022

17 - Introdução ao Azure Stream Analytics

Reconhecer fluxos de dados

Reconhecer o processamento de eventos

Entender as funções de janela

18 - Ingerir dados de streaming usando o Azure Stream Analytics e o Azure Synapse Analytics

Cenários de ingestão de fluxo

Configurar entradas e saídas

Definir uma consulta para selecionar, filtrar e agregar dados

Executar um trabalho para ingerir dados

19 - Visualizar dados em tempo real com o Azure Stream Analytics e o Power BI

Usar uma saída do Power BI no Azure Stream Analytics

Criar uma consulta para a visualização em tempo real

Criar visualizações de dados em tempo real no Power BI

20 - Introdução ao Microsoft Purview

O que é o Microsoft Purview?

Como o Microsoft Purview funciona

Quando usar o Microsoft Purview

21 - Integrar o Microsoft Purview e o Azure Synapse Analytics

Catalogar ativos de dados do Azure Synapse Analytics no Microsoft Purview

Conectar o Microsoft Purview a um workspace do Azure Synapse Analytics

Pesquisar um catálogo do Purview no Synapse Studio

Acompanhar linhagem de dados nos pipelines

22 - Explorar o Azure Databricks

Introdução ao Azure Databricks

Identificar cargas de trabalho do Azure Databricks

Entender os principais conceitos

23 - Usar Apache Spark no Azure Databricks

Conhecer o Spark

Criar um cluster Spark

Usar o Spark em notebooks

Usar o Spark para trabalhar com arquivos de dados

Visualizar dados

24 - Executar os Notebooks do Azure Databricks com o Azure Data Factory

Entenda os notebooks e pipelines do Azure Databricks

Criar um serviço vinculado para o Azure Databricks

Use uma atividade do Notebook em um pipeline

Use parâmetros em um notebook