Talend Big Data

Objectifs

A l''issue de ce stage vous serez capable de :

• Maîtriser Talend dans un environnement Big Data
  
• Lire et écrire des données en HDFS
  
• Travailler avec les tables
  
• Traiter l'analyse comportementale
  
• Traiter les logs
  

Syllabus

Concepts de bases

• Ouvrir un projet
  
• Monitorer un cluster Hadoop
  
• Créer un cluster de métadonnées
  

Lire et écrire des données en HDFS

• Stocker un fichier sur HDFS
  
• Stocker plusieurs fichiers de HDFS
  
• Lire les données de HDFS
  
• Utiliser HBase pour sauvegarder les données charger dans HDFS
  

Travailler avec les tables

• Importation de tables avec Sqoop
  
• Création de tables dans HDFS avec Hive
  

Traitement des données et des tables en HDFS

• Traitement des tables Hive avec des jobs
  
• Traitement des données avec Pig
  
• Traitement des données par lots
  

Guide de dépannage

• Dépannage de votre cluster
  

Cas d'utilisation de clickstream (flux de clics)

• Surveillance du cluster Hadoop
  
• Créer un environnement de développement
  
• Chargement des données dans HDFS
  
• Enrichissement des logs
  
• Calculer les statistiques
  
• Conversion d'un job standard en un lot Big Data
  
• Comprendre les jobs MapReduce
  
• Utilisation du studio pour configurer les resource requests vers YARN
  

Cas d'utilisation : l'analyse comportementale

• Chargement du dictionnaire et des données du fuseau horaire dans HDFS
  
• Chargement des tweets dans HDFS
  
• Traitement des tweets avec MapReduce
  
• Planification de l'exécution du job
  

Introduction à Kafka

• Surveillance du cluster Hadoop
  
• Comprendre les bases de Kafka
  
• Publication de messages sur un sujet Kafka
  
• Consommer des messages
  

Introduction à Spark

• Comprendre les bases de Spark
  
• Analyser les données des clients
  
• Produire et consommer des messages en temps réel
  

Cas d'utilisation de traitement des logs : génération des logs enrichis

• Introduction au cas d'utilisation du traitement des lois
  
• Génération de logs bruts
  
• Génération de logs enrichis
  

Traitement des logs cas d'utilisation : surveillance

• Surveillance des logs enrichis
  

Cas d'utilisation de traitement des logs : rapports

• Génération de rapports basés sur les fenêtres de données
  

Cas d'utilisation de traitement des logs : analyse des batchs

• Ingestion de flux de données
  
• Analyser les logs avec un batch job
  

Comment ?

Méthodes pédagogiques

1 poste et 1 support par stagiaire
8 à 10 stagiaires par salle
Remise d'une documentation pédagogique papier ou numérique pendant le stage
La formation est constituée d'apports théoriques, d'exercices pratiques, de réflexions et de retours d'expérience
Modalités d'évaluation et de suivi
 

Évaluation

Auto-évaluation des acquis par le stagiaire via un questionnaire en ligne
Attestation de fin de stage remise au stagiaire