Curso Big Data usando Hadoop Advanced

Módulo 1 - Visão geral da arquitetura Hadoop

Camadas da arquitetura Hadoop

Módulo 2 ? HDFS

NameNode

NameNode Secundário

Standby NameNode     

Zookeeper        

DataNode

Rack Aware

YARN

Resource Manager

NodeManager

Recipientes (Container)

NodeMaster/Application Master

JobHistory Server

Como funciona o YARN?

MapReduce

Fase do Mapa(Map)

Fase de embaralhamento e classificação

Fase de redução (reduce)

Módulo 3 - Instalação Cluster

Criando o novo usuário Hadoop

Módulo 4 - Instalando o Hadoop no Ubuntu

Implantação de Hadoop - modo pseudo-distribuído

Namenode e Datanode

Formatar o HDFS NameNode

Módulo 5 - Iniciar Hadoop Cluster

Hadoop no navegador

Módulo 6 - Apache Hive Hadoop Cluster

Instalando o Apache Hive

Criar Banco de Dados

Carregar Dados

Particionamento no Hive

Particionamento Estático

Módulo 7 - Spark Hadoop Cluster

Recursos do Apache Spark

Arquitetura Spark

Instalando Spark

configurar o Spark

Test Spark Shell

Teste Python no Spark

Comandos básicos

Função Spark Map

Word Count - contagem de palavras do Spark

Módulo 8 - Apache Pig Hadoop Cluster

Instalação do Apache Pig

Modos de execução no Apache Pig:

Declarações Pig Latin

Módulo 9 - Hbase - modo de instalação pseudo-distribuído

Comandos do shell HBase

Comandos gerais

Comandos de gerenciamento de tabelas

Comandos de manipulação de dados    

Comandos de replicação de cluster