Curso Formação Cientista de Dados com Big Data - Data Science & Analytics - Python Foundation + Python Aplicado a Big Data + Big Data Hadoop + Business Intelligence usando o Microsoft Power BI

Business Intelligence usando o Microsoft Power BI - Analyzing Data with Power BI - MS - PL-300 (Power BI)

Carga Horária: 24 horas

Módulo 1: Introdução ao Microsoft Data Analytics

Este módulo explora as diferentes funções no espaço de dados, descreve os importantes papéis e responsabilidades de um analista de dados e descreve os landspaces do portfólio do Power BI.

Lições

· Data Analytics e Microsoft

· Introdução ao Power BI

Laboratório: Guia de introdução

· Guia de introdução.

Depois de completar este módulo, os você estarão aptos a:

· Explorar as diferentes funções em dados

· Identificar as tarefas realizadas por um analista de dados

· Descrever o cenário de produtos e serviços do Power BI

· Usar o serviço Power BI

Módulo 2: Preparação de dados no Power BI

Este módulo descreve a identificação e a recuperação de dados de várias fontes de dados. Você também aprenderá as opções de conectividade e armazenamento de dados e entenderá a diferença e as implicações de desempenho de se conectar diretamente aos dados em vez de importá-los.

Lições

· Obter dados de várias fontes

· Otimizar o desempenho

· Resolver erros de dados

Laboratório: Preparação de dados no Power BI Desktop

· Preparar dados

Depois de completar este módulo, os você estará apto a:

· Identificar e recuperar dados de diferentes fontes de dados

· Compreender os métodos de conexão e suas implicações de desempenho

· Otimizar o desempenho de questionário

· Corrigir erros de importação de dados

Módulo 3: Limpar, transformar e carregar dados no Power BI

Este módulo ensina o processo de criação de perfil e compreensão da condição dos dados. Eles aprenderão a identificar anomalias, olhar o tamanho e a forma de seus dados e executar as devidas etapas de limpeza e transformação de dados para preparar os dados para o carregamento no modelo.

Lições

· Modelagem de dados

· Aprimorar a estrutura de dados

· Criação de perfil de dados

Laboratório: Transformação e carregamento de dados

· Carregamento de dados

Depois de completar este módulo, os estudantes estarão aptos a:

· Aplicar transformações de formato de dados

· Aprimorar a estrutura dos dados

· Identificar e examinar os dados

Módulo 4: Criar um modelo de dados no Power BI

Este módulo ensina os conceitos fundamentais de criação e desenvolvimento de um modelo de dados para desempenho e escalabilidade adequados. Este módulo também ajudará você a entender e solucionar muitos dos problemas comuns de modelagem de dados, incluindo relacionamentos, segurança e desempenho.

Lições

· Introdução à modelagem de dados

· Trabalhando com tabelas

· Dimensões e hierarquias

Laboratório: Modelagem de dados no Power BI Desktop

· Criar relações de modelo

· Configurar tabelas

· Analisar a interface do modelo

· Criar medidas rápidas

Laboratório: Modelagem avançada de dados no Power BI Desktop

· Configurar relações muitos para muitos

· Aplicar a segurança no nível da linha

Depois de completar este módulo, os você estarão aptos a:

· Compreender os fundamentos modelagem de dados

· Definir relações e sua cardinalidade

· Implementar dimensões e hierarquias

· Criar histogramas e classificações

Módulo 5: Criar medidas usando DAX no Power BI

Este módulo apresenta o mundo do DAX e seu verdadeiro poder para aprimorar um modelo. Você aprenderá sobre agregações e os conceitos de medidas, colunas e tabelas calculadas e funções de Time Intelligence para resolver problemas de cálculo e análise de dados.

Lições

· Introdução ao DAX

· Contexto de DAX

· Funções DAX avançadas

Laboratório: Introdução ao DAX no Power BI Desktop

· Criar tabelas calculadas

· Criar colunas calculadas

· Criar medidas

Laboratório: Funções DAX avançadas no Power BI Desktop

· Usar a função CALCULATE() para manipular o contexto do filtro

· Usar as funções de Time Intelligence

Depois de completar este módulo, os você estarão aptos a:

· Compreender o DAX

· Usar DAX para fórmulas e expressões simples

· Criar tabelas e medidas calculadas

· Construir medidas simples

· Trabalhar com Time Intelligence e indicadores de desempenho

Módulo 6: Otimizando o desempenho do modelo

Neste módulo, você conhecerá as etapas, processos, conceitos e práticas recomendadas de modelagem de dados necessárias para otimizar um modelo de dados para desempenho em nível corporativo.

Lições

· Otimizar o modelo para desempenho

· Otimizar modelos DirectQuery

· Criar e gerenciar agregações

Depois de completar este módulo, os vocês estarão aptos a:

· Entender a importância das variáveis

· Aprimorar o modelo de dados

· Otimizar o modelo de armazenamento

· Implementar agregações

Módulo 7: Criando relatórios

Este módulo apresenta os conceitos e princípios básicos de desenvolvimento e criação de um relatório, incluindo a seleção de elementos visuais corretos, o design de um layout de página e a aplicação de funcionalidades básicas, porém essenciais. O tópico importante de design para acessibilidade também é abordado.

Lições

· Criar um relatório

· Aprimorar o relatório

Laboratório: Criando um relatório no Power BI

· Criar uma conexão online no Power BI Desktop

· Criar um relatório

· Configurar campos visuais e propriedades de formato

Laboratório: Aprimorando relatórios do Power BI com interação e formatação

· Criar e configurar segmentadores de sincronização

· Criar uma página detalhada Aplicar formatação condicional

· Criar e usar marcadores

Depois de completar este módulo, os você estarão aptos a:

· Criar um layout de página de relatório

· Selecionar e adicionar visualizações eficazes

· Adicionar funcionalidades básicas de relatório

· Adicionar navegação de relatórios e interações

· Melhorar o desempenho do relatório

· Projetar soluções de acessibilidade

Módulo 8: Criando painéis

Neste módulo você aprenderá a contar uma história envolvente através do uso de painéis e das diferentes ferramentas de navegação disponíveis para fornecer navegação. Você conhecerá os recursos e funcionalidades e como melhorar os painéis para usabilidade e insights.

Lições

· Criar um painel

· Painéis em tempo real

· Aprimorar um painel

Laboratório: Criando um relatório no Power BI Desktop - Parte 1

· Criar um painel

· Anexar estilos visuais ao painel

· Configurar um alerta de bloco de painel

· Usar perguntas e respostas para criar um painel

Depois de completar este módulo, os estudantes estarão aptos a:

· Criar um painel

· Compreender os painéis em tempo real

· Melhorar a usabilidade do painel

Módulo 9: Criar relatórios paginados no Power BI

Este módulo irá ensiná-lo sobre relatórios paginados, inclusive o que são e como se encaixam no Power BI. Em seguida, você aprenderá a construir e publicar um relatório.

Lições

· Visão geral do relatório paginado

· Criar relatórios paginados

Laboratório: Criando um relatório paginado

· Usar o Power BI Report Builder

· Criar um layout de relatório de várias páginas

· Definir uma fonte de dados

· Definir um conjunto de dados

· Criar um parâmetro de relatório

· Exportar um relatório para PDF

Depois de completar este módulo, os vocês estarão aptos a:

· Explicar os relatórios paginados

· Criar um relatório paginado

· Criar e configurar uma fonte de dados e um conjunto de dados

· Trabalhar com gráficos e tabelas

· Publicar um relatório

Módulo 10: Realizar análises avançadas

Este módulo capacita o estudante a aplicar recursos adicionais para aprimorar o relatório e obter insights analíticos com base nos dados, provendo-o com as etapas que permitem utilizar o relatório na análise de dados propriamente dita. Você também realizará análises avançadas por meio de elementos visuais de IA no relatório para obter insights de dados ainda mais profundos e significativos.

Lições

· Análise avançada

· Insights de dados por meio de recursos visuais de IA

Laboratório: Análise de dados no Power BI Desktop

· Criar gráficos de dispersão animados

· Usar elementos visuais para prever valores

· Trabalho com elemento visual Arvore Analítica

· Trabalhar com o elemento visual de influenciadores-chave

Depois de completar este módulo, os você estarão aptos a:

· Explorar resumos estatísticos

· Usar o recurso Analyze

· Identificar exceções em dados

· Realizar análises de série temporal

· Usar elementos visuais de IA

· Use o elemento visual personalizado Análise Avançada

Módulo 11: Criar e gerenciar espaços de trabalho

Este módulo descreverá os espaços de trabalho, incluindo como criá-los e gerenciá-los. Você também aprenderá a compartilhar conteúdo, incluindo relatórios e painéis, e aprenderá a distribuir um aplicativo.

Lições

· Criando espaços de trabalho

· Compartilhando e gerenciando ativos

Laboratório: Publicando e compartilhando conteúdo do Power BI

· Mapear fundamentos de segurança para funções de conjunto de dados

· Compartilhar um painel

· Publicar um aplicativo

Depois de completar este módulo, os vocês estarão aptos a:

· Criar e gerenciar um espaço de trabalho

· Compreender a colaboração no espaço de trabalho

· Monitorar o uso e o desempenho do espaço de trabalho

· Distribuir um aplicativo

Módulo 12: Gerenciar conjuntos de dados no Power BI

Neste módulo, você aprenderá os conceitos de gerenciamento de ativos do Power BI, incluindo conjuntos de dados e espaços de trabalho. Você também aprenderá a publicar, atualizar e proteger os conjuntos de dados no serviço Power BI.

Lições

· Parâmetros

· Conjuntos de dados

Depois de completar este módulo, os vocês estarão aptos a:

· Criar e trabalhar com parâmetros

· Gerenciar conjuntos de dados

· Configurar a atualização do conjunto de dados

· Diagnosticar problemas de conectividade de gateway

Módulo 13: Segurança em nível de linha

Este módulo ensina as etapas para implementar e configurar a segurança no Power BI para proteção de ativos do Power BI.

Lições

· Segurança do Power BI

Depois de completar este módulo, os você estarão aptos a:

· Compreender os aspectos da segurança do Power BI

· Configurar funções de segurança em nível de linha e afiliações de grupos

2 - Programando usando Python

Carga Horária: 32 horas

Módulo 1 - Python - Visão geral

Operadores Básicos Python

Sintaxe Básica Python

Tipos de variáveis

Tipos de dados padrão

Python Strings

Atualizando strings

Operador de formatação de string

Citações Triplas

Módulo 2 - Listas (Lists) de Python

Excluir elementos da lista

Operações básicas da lista

Indexação, fatia(slice) e matrizes (arrays)

Funções e métodos padrão de lists

Módulo 3 - Tuplas (Tuples) Python

Excluir elementos da tupla

Operações básicas de tuplas

Indexação, fatia (slice) e arrays

Funções e métodos padrão de TUPLES

Módulo 4 - Dicionário Python

Acessando valores no dicionário

Atualizando dicionário

Excluir elementos do dicionário

Propriedades das chaves de dicionário

Funções internas e métodos de um dicionário

Módulo 5 - Tomada de decisão (if...else)

O que é a declaração if ... else em Python?

Módulo 6 ? Loops

For Loop

A função range ()

Loop while

Módulo 7 - Date & Time

O que é Tick?

O que é o TimeTuple?

O módulo do calendar

Módulo 8 - Função (Function)

Definindo uma Função

Chamando uma função

Passagem por referência e valor

Argumentos de Função

Argumentos de palavras-chave

Argumentos padrão

Argumentos de tamanho variável

Funções anônimas

Declaração return

Escopo das Variáveis

Módulo 9 - Files I/O (Manipulação de arquivos)

Abrindo e fechando arquivos

A função open

O arquivo Object Attributes

O método close ()

Lendo e gravando arquivos

O método write ()

O método read ()

Posições de arquivo

Renomeando e excluindo arquivos

Métodos

rename ()

remove ()

mkdir ()

getcwd ()

rmdir ()

Módulo 10 ? Módulos

declaração de importação

declaração from ... import

declaração from ... import *

Executando módulos como scripts

Módulo 11 - Orientação a Objetos com Python

Classe e Objeto

Instanciar o que é isso?

O que é uma classe?

No contexto Python

Visão geral da terminologia POO

Criando Classes

Criando objetos de instância (Instance Objects)

Acessando atributos

Atributos de classe incorporados

Herança de Classe (Class Inheritance)

Módulo 12 - Expressões Regulares (python regex)

Importância das Expressões Regulares

O que são Expressões Regulares e como são usadas?

métodos de Expressões Regulares

re.findall(padrão, string)

re.compile(padrão, string)

Módulo 13 - Python webScraping

Webscraping usandoPython e Beautiful Soup

O que é webscraping?

Primeiros passos para se construir uma aplicação Webscraping

WebScraping é realmente necessário?

Utilizando urllib e requests

Manipulando o HTML

Definição dos métodos find() / find_all()

Tratamento de exceções (Handling Exception)

WebScraping App

Inspecionando/mapeando o website

Introdução ao Pandas - criando um dataframe

3 - Análise de dados com Python Aplicado a Big Data

Carga Horária: 24 horas

rodução ao Matplotlib

Tipos de plotagem

Seaborn Data Visualization

Heat Map (Visualização com mapa de calor)

Criando um mapa de calor

Mapa de cores sequencial (Sequential colormaps)

Seaborn heatmap colorbar

Numpy

NumPy Matriz (Array)

Operações de Matrizes

Multiplicação de duas matrizes

Acessando elementos de uma matriz: colunas e linhas

Fatiamento (slicing) de uma matriz np

Pandas

Explorando Dados com Dataframes

Ler arquivo Excel

Importar arquivo CSV

Ler arquivo de texto

Aplicar uma função a colunas/linhas

Classificar valores/classificar por coluna

Contagem de valores únicos

Gerar arquivo Excel

Gerar arquivo CSV

Gerar arquivo HTML

Pivot Table em Pandas

Acessar os dados

"Pivotando" os dados

Colunas e valores

Filtros avançados

GroupBy

Aprofundando Data Analysis

Análise da Distribuição

Análise de Variáveis Categóricas

Munging de dados com Python: Usando Pandas

Analisando grandes volumes de dados

Lendo o arquivo

Utilizando o Pandas

Formatando o resultado

Matriz de Correlação

Qual é o coeficiente de correlação?

Traçando a matriz de correlação

Interpretando a matriz de correlação

Adicionando título e rótulos ao gráfico

Classificando a matriz de correlação

Seleção de pares de correlação negativa

Introdução ao Machine Learning

Como iniciar um projeto de aprendizado de máquina em Python

4 - Big Data Hadoop - Processando dados com Hadoop HortonWorks (HDP)

Carga Horária: 24 horas

Módulo 1 - Introdução

Definição

Histórico - Construção do Conceito

Módulo 2 - Data Lake

Arquitetura DataWare House tradicional

Arquitetura Big Data Ware House

Módulo 3 - IoT - Internet das Coisas e Big Data

Dispositivos ?vestíveis? (wearables)

Big Data: qual sua relação com a internet das coisas?

Módulo 4 - Ferramentas de Big Data

Primeira Versões

Módulo 5 - Software Livre e Open Source

Apache Hadoop Visão geral

História

Módulo 6 - Características do Hadoop

Escalável

Economico

Eficiente

Confiável

Módulo 7 - Ecossistema Hadoop

Ambari

HBase

Hive

Hive Data Warehouse Hadoop

Sqoop

Zookeeper

Pig

Módulo 8 ? Distribuições

Casos de Uso Hadoop

Módulo 9 - Modo de Utilização

SingleMode

HDFS - Hadoop FileSystem

HDFS - MapReduce Data Flow

HDFS - Arquitetura

HDFS - Arquitetura

Map Reduce

MapReduce X Hadoop

YARN ? Yet Another Resource Negotiator

Fluxo entre Map, Reduce ? Shuffle e Sort

YARN ?Fluxo de execução do Job

MapReduce - Função Map

MapReduce - Função Reduce

MapReduce no cluster

Módulo 10 - HDP (Hortonworks Data Platform)

Dados no HDFS

Módulo 11 - Hive ? Introdução ao apache hive

Data Analytics Studio (DAS)

Criar tabelas

Analise de dados

O que é Hive Lateral View e Como Usá-la

Explorando o Tez

Módulo 12 - Spark - analisando fator de risco

Introdução

Conceitos

Noções Básicas Do Apache Spark

Configurando serviços

Módulo 13 - Relatório De Dados Com Zepelim

Introdução

Apache Zeppelin

Criar Gráficos Usando O Zeppelin

Módulo 14 - Como Processar Dados Com Apache Pig

Introdução

O Que É Pig?

Apache Pig - Operadores de diagnóstico

Aplicação Pipeline de Vendas ? usando Pig

Módulo 15 - O Que é Tez?

Processing task

Módulo 16 - DataFrame e conjunto de dados no Spark REPL

Introdução

Conceito

Implementação