32h de curso
5.0
em até 12X sem juros
Big Data usando Hadoop Advanced
Quero fazer o curso:
Quero fazer o curso:
32h de curso
5.0
Big Data usando Hadoop Advanced
5
Próximas turmas
| Integral | Noturno | Sábado |
|---|---|---|
|
Avise-me sobre a próxima turma |
27/01/21 à 05/02/21 17/02/21 à 26/02/21 16/03/21 à 25/03/21 |
Avise-me sobre a próxima turma |
Certificação internacional
Modalidades
- Online Ao Vivo |
- Presencial
Benefícios
Material para download
Download de aulas gravadas
Valorização no mercado de trabalho
Reconhecimento Profissional
Objetivo do curso
O
objetivo do treinamento é conduzir o participante para que possa implementar e
configurar um Hadoop cluster.
Hadoop é um projeto Apache de código aberto
que permite a criação de aplicativos de processamento paralelo em grandes
conjuntos de dados, distribuídos em nós em rede. É composto pelo Hadoop Distributed File
System (HDFS), que lida com escalabilidade e redundância de dados entre os
nomes;
Nesse
treinamento, o ecossistema Hadoop é configurado a partir de sua parte central
(Hadoop Core) composto pelo:
- Hadoop YARN, é uma estrutura para
agendamento de trabalho que executa tarefas de processamento de dados em todos
os nós.
- Nodemaster, mantém conhecimento sobre o
sistema de arquivos distribuído, como a tabela inode em um sistema de arquivos
ext3, e programa a alocação de recursos.
- NameNode gerencia o sistema de arquivos
distribuído e sabe onde estão os blocos de dados armazenados dentro do cluster.
- O ResourceManager gerencia os trabalhos YARN
e cuida do agendamento e execução de processos
- DataNode gerencia os dados físicos
armazenados no node; é nomeado, NameNode.
-
NodeManager gerencia a execução de tarefas no node
Além
disso, o participante instala, configura e cria aplicações a partir das
principais ferramentas que fazem parte do ecossistema Hadoop:
⁃ Hive
⁃ Spark
⁃ Pig
⁃ Hbase
Requisitos para o curso
O
participante deve ter realizado o treinamento Big Data Hadoop HDP – Hortonworks
Data Platform. Possuir conhecimento em Banco de dados.
Conteúdo do curso
Expandir todas as seções
Módulo 1 - Visão geral da arquitetura Hadoop
Camadas da arquitetura Hadoop
Módulo 2 - HDFS
NameNode
NameNode Secundário
Standby NameNode
Zookeeper
DataNode
Rack Aware
YARN
Resource Manager
NodeManager
Recipientes (Container)
NodeMaster/Application Master
JobHistory Server
Como funciona o YARN?
MapReduce
Fase do Mapa(Map)
Fase de embaralhamento e classificação
Fase de redução (reduce)
NameNode Secundário
Standby NameNode
Zookeeper
DataNode
Rack Aware
YARN
Resource Manager
NodeManager
Recipientes (Container)
NodeMaster/Application Master
JobHistory Server
Como funciona o YARN?
MapReduce
Fase do Mapa(Map)
Fase de embaralhamento e classificação
Fase de redução (reduce)
Módulo 3 - Instalação Cluster
Criando o novo usuário Hadoop
Módulo 4 - Instalando o Hadoop no Ubuntu
Implantação de Hadoop - modo pseudo-distribuído
Namenode e Datanode
Formatar o HDFS NameNode
Namenode e Datanode
Formatar o HDFS NameNode
Módulo 5 - Iniciar Hadoop Cluster
Hadoop no navegador
Módulo 6 - Apache Hive Hadoop Cluster
Instalando o Apache Hive
Criar Banco de Dados
Carregar Dados
Particionamento no Hive
Particionamento Estático
Criar Banco de Dados
Carregar Dados
Particionamento no Hive
Particionamento Estático
Módulo 7 - Spark Hadoop Cluster
Recursos do Apache Spark
Arquitetura Spark
Instalando Spark
configurar o Spark
Test Spark Shell
Teste Python no Spark
Comandos básicos
Função Spark Map
Word Count - contagem de palavras do Spark
Arquitetura Spark
Instalando Spark
configurar o Spark
Test Spark Shell
Teste Python no Spark
Comandos básicos
Função Spark Map
Word Count - contagem de palavras do Spark
Módulo 8 - Apache Pig Hadoop Cluster
Instalação do Apache Pig
Modos de execução no Apache Pig:
Declarações Pig Latin
Modos de execução no Apache Pig:
Declarações Pig Latin
Módulo 9 - Hbase - modo de instalação pseudo-distribuído
Comandos do shell HBase
Comandos gerais
Comandos de gerenciamento de tabelas
Comandos de manipulação de dados
Comandos de replicação de cluster
Comandos gerais
Comandos de gerenciamento de tabelas
Comandos de manipulação de dados
Comandos de replicação de cluster
PEDIR INFORMAÇÕES AGORA
Instrutores
Nossos instrutores são profissionais de destaque no mercado, que vivem na prática tudo o que ensinam.
Alessandra Morais
Desenvolvedora Back-end
Pedro Cardoso
Desenvolvedor Fullstrack
José Sillas
UX/UI Designer
Depoimentos dos nossos alunos
Manuela Oliveira
Foi de longe o melhor instrutor de Excel que tive. Ele estava cheio de ótimas dicas e as tornava fáceis de entender e seguir. Ele também tornou a aula super interessante e manteve a nossa atenção.
Tiago Almeida
Eu sempre achei que estava bem avançado no Excel, até hoje, onde alguns itens que aprendi foram realmente reveladores.
Celso S.
Fiquei muito impressionado com a agilidade e a disposição do instrutor de adaptar o curso para atender às necessidades dos alunos.
Saiba mais sobre nossos Cursos
Ver Todos
Pacote Full Access
Cursos ilimitados ao vivo
Todos os cursos e um único produto
+ de 200 cursos na área de tecnologia, projetos, negócios e governança.
Em 12 Meses você se tornará um Especialista nas Maiores Tecnologia e Metodologias Mundiais da Atualidade!
