Alteryx TRIFACTA e NIFI: streaming e preparação de dados
Trabalhando com fluxo de dados e construindo pipelines de ajustes, qualidade de dados
Ratings 4.86 / 5.00
What You Will Learn!
- Preparação de dados aberta que pode se conectar a diversas fontes de dados
- Integração em todas as principais plataformas de dados em nuvem
- Decida entre ETL ou ELT, ou uma combinação ideal dos dois com base no desempenho
- Suporte para todas as principais nuvens, Google, AWS, Azure e on-premise
- Interface intuitiva e simples utilização de objetos de dados
- Perfilização de dados, ajudando na identificação de outliers
- Tratamento de dados, criação de novos campos, dentre outras tarefas
- Eliminação de dados nulos, inconsistências, criação de novos campos
- Exploração e avaliação de conteúdo e de qualidade de qualquer conjunto de dados
- Engenharia de dados com low-code, visual, direto na nuvem
- Construção, implantação e automatização de pipelines de dados
- Criação de flow de dados, que permite ao analista encadear suas ações de tratamento
- Action com os dados: Columns, Rename, Sort, Calculate, Group By, Filter Rows, Replace
- Action com os dados: Split, Create formula, dentre outros
- Exportação dos resultados automatizados
- Entendo sobre Apache Nifi, uma plataforma de ingestão de dados
- Entendo sobre o gerenciamento e a automatização do fluxo de dados
- Entendendo sobre coleta de dados, transmissão de dados, armazenamento de dados
- Ecossistema NiFi: Repositórios, controle de fluxo, máquina JVM, extensões
- O que é Flow File
- O que é um Processor
- O que é um Fluxo de Dados
- O que é uma conexão
- O que é um grupo de processor
- Aprendendo sobre a barra de componentes
- Aprendendo sobre a barra de controle navegação
- Aprendendo sobre a barra de operação
- Desenvolvimento de diversos fluxos de dados
- Extensões: Putfile, Getfile, ExtractText, SplitText
- Extensões: EvaluateXpath, UpdateAttribute, GenerateFlowFile
- Extensões: RouteOnAttribute, SplitXML, LogMessage, LogAttibute
- Extensões: MergeContent, ReplaceText, CompressContent
- Uso de Input Port, Funil e Process Group
Description
Este é o tipo de treinamento que vai fazer você mudar a sua concepção sobre manipulação, tratamento e construção de cargas que envolvem dados, dados estruturados ou não estruturados. Trabalharemos com duas das grandes ferramentas de mercado que permitem manipular o dado até a exaustão, estamos falando do Alteryx TRIFACTA e do Apache Nifi.
O Nifi é uma plataforma de ingestão de dados, criada para processar e distribuir dados entre diferentes sistemas, sua principal funcionalidade é o gerenciamento e a automatização do fluxo de dados entre os sistemas, para execução destes fluxos de dados é fornecida uma interface WEB . É a programação baseada em fluxos.
Este é um curso de introdução, trabalharemos com modelos simples e típicos da ferramenta Nifi.
É possível realizar: coleta de dados, transmissão de dados, armazenamento de dados, dentre outras tarefas.
NiFi é um programa java que é executado dentro de uma JVM em um servidor, aproveita o conceito de extração, transformação e carga. A plataforma foi construída para que você possa ter liberdade para determinar como deseja construir seus fluxos de dados independente de tecnologia e linguagem, ele possui programas conhecidos como Processadores que realizam estas atividades diversas.
É uma das principais plataformas criadas atualmente para manipulação de grandes bases de dados sendo estas em bancos convencionais ou No Sql.
Já o Alteryx TRIFACTA, é uma ferramenta 100% na nuvem, low-code, totalmente prática e com grande destaque no mercado. Ela é uma plataforma em nuvem aberta e interativa, que permite a capacitação de engenheiros de dados e analistas a interpretar, preparar e criar pipelines de dados para acelerar suas análises.
A sua principal tarefa é ler uma base de dados, identificar os principais pontos de ajustes nos dados, permitir que sejam construídas transformações nos dados e executar um pipeline de dados (fluxo de dados) gerando as informações ajustadas em qualquer fonte de dados, tudo 100% visual.
Com isso, você comandará a governança de dados nos seus dados, pois identificará outliers, inconsistências, ausências de informações, identificações de padrões, dentre outras tarefas.
As principais características do Alteryx TRIFACTA são:
Explore e avalie o conteúdo e a qualidade de qualquer conjunto de dados.
Acelere e acompanhe transformações de dados de forma visual.
Construa, implante e automatize pipelines de dados.
Utilize os fluxos de dados para definir TODAS as suas necessidades em tratamento de dados e governança de dados
Então comece hoje mesmo e aprenda em um treinamento que vai lhe trazer um conhecimento aprofundado na manipulação de dados.
Who Should Attend!
- Profissionais de TI
- Profissionais que querem trabalham na área de Engenharia de dados, Análise de dados, Ciência de Dados, Business Intelligence
- Pessoas interessadas em aprender os conceitos sobre NiFi, ou que gostariam adentrar na área de engenharia de dados
