Super Curso Databricks + Delta Lake: juntos roadmap
O ecossistema Databricks como você nunca viu
Ratings 4.63 / 5.00
What You Will Learn!
- Entendendo a arquitetura chamada Lakehouse sobre o Data Lake no Databricks
- Construindo Delta Lake com processamento em batch, streaming em lote
- Controle de transações sobre os dados, como um banco de dados
- Trabalhando com características ACID (Atomicidade, Consistência, Isolamento, Durabilidade) ao Delta Lake
- Entendendo versionamento dos dados, permite que os dados sejam acessados e revertam para versões anteriores de dados, controle de históricos
- Uso das fases de ingestão, refinamento e enriquecimento dos dados
- Diferenças das arquiteturas Data Lake x Delta Lake
- Aprendendo como otimização dos processos de coleta e tratamento dos dados, reduzindo o tempo de processamento e descartando o que não for útil
- Trabalhando a criação de tabelas Delta e como gerar históricos de dados
- Trabalhando com cluster, DBFS, Notebook em R, Scala, Pyhton e SQL
- Delta Time Travel como retornar versões de dados e comandos de controle
- Controle de auditoria, agindo na conformidade de dados quanto de depuração simples para entender como os dados mudaram ao longo do tempo
- Executando reversões nos dados, evitando duplicação e realizando refinamento, ajustes, atualizações e exclusões dos dados
- Executando scripts batch e streaming
- Entendo o que significa checkpoint e controle de gravações dos dados
- Trabalhando com Schema Evolution na inclusão de atributos as tabelas delta
- Visualização para explorar resultados de consultas de diferentes perspectivas
- Construção de gráficos e Dashboards
- Unificação de dados em diversos formatos: texto, JSON, PARQUET, dentre outros
- Trabalhada por administrador da plataforma, analista de dados, cientista de dados e engenheiro de dados com diversas funcionalidades
- Aprendizado processamento distribuído em SPARK
- Entendo o que é Databricks File System (DBFS) seu sistema de arquivos
- Entendo sobre Cluster
- Aprendendo a gerenciar e criar Notebooks em R, SCALA, Python e SQL
- Executando scripts multilinguagens
- Gerenciando a ingestão de dados e análise de dados, gerando gráficos e dashboards
- Construindo na versão community
- Trabalhando com a biblioteca dbutils Python
- Integrando o Databricks ao Power BI
Description
Não estamos falando de um simples treinamento, estamos falando do uso de uma das ferramentas mais utilizadas pelas empresas em todo o mundo, você virá aprender juntamente comigo sobre como gerenciar seus dados na nuvem, como orquestrar pipelines em R, Python, Scala e SQL tudo junto, como fazer com que um simples arquivo de dados, tenha o poder de controlar as suas transações como um banco de dados. Venha conhecer então tudo isso com Databricks + Databricks Delta Lake.
O Treinamento começará na imersão Databricks, tudo que precisa saber para operacionalizar a ferramenta e construir pipelines nas linguagens mais utilizadas pelos engenheiros de dados, cientistas de dados que são R, Python, Scala e SQL. Você entenderá conceitos importantes sobre cluster, nós, o uso do spark, o monitoramento dos jobs e compreenderá em diversos scripts como criamos arquivos em diversos formatos, principalmente no parquet, preparado para este mundo cloud.
Depois de compreender bem o Databricks, você irá aprender um dos seus principais componentes, o uso do Databricks Delta Lake, que consegue transformar arquivos de dados em processos de transação como fazem os bancos de dados, ou seja, conseguirá executar comandos como INSERT, UPDATE, DELETE e muito mais utilizando técnicas como Delta Travel Time e o controle de Schema de dados, conhecido como Schema Evolution.
O que é importante saber, teremos um treinamento com 2 cursos em 1, com o que realmente importa e interessa nesta área, trabalhar ativamente com dados e conseguir tirar proveito dos seus resultados, trabalhando com o que há de mais atual sobre ferramentas na nuvem.
Venha e comece hoje mesmo.
Who Should Attend!
- Estudantes e profissionais de computação, Informática, estatística, data science, analista de dados, engenheiro de dados
