Hadoop - Cloudera / Hortonworks pour développeurs

Objectifs

Cette formation Hadoop – Cloudera / Hortonworks pour développeurs vous permettra :

• Réaliser une étude en profondeur dans les développements des applications Hadoop 2.0
• Définir et à développer des applications MapReduce(Yarn), Hive et Pig efficaces et pertinentes avec Hadoop 2.0
• Exploiter toute la puissance d'Hadoop 2.0 pour manipulation, analyse et exécution des calculs sur leur cluster Hadoop

Syllabus

Introduction

• Présentation générale d'Hadoop
• Exemples d'utilisation dans différents secteurs
• Historique et chiffres clés : Quand parle-t-on de Big Data ?

HDFS : interfacage avec Java

• Le système de fichier Hadoop Distributed File System (HDFS)
• Lecture et écriture sur le HDFS
• Manipulation des types de fichier SequenceFile
• Qu'est-ce que le DistributedCache et comment partager les références ?

MapReduce/YARN : principe et développement Java

• Le paradigme MapReduce et l'utilisation à travers YARN
• Implémentation de problématiques réelles avec le paradigme MapReduce
• Implémentation de problématiques plus complexes
• Utilisation des combinateurs et partitionners
• Les bonnes pratiques pour le développement des applications MapReduce

Manipulation des données avec un Query language et Java

• Présentation et fonctionnement de HBase, Hive et PIG
• HBase et Hive : JDBC et requêtes
• Extension du HiveQL avec des fonctionnalités développées : UDF (User-Defined Functions)
• Pig : Développement et intégration avec JAVA
• Extension de PIG avec des fonctionnalités développées : UDF (User-Defined Functions)

Comment ?

Méthodes pédagogiques

1 poste et 1 support par stagiaire

8 à 10 stagiaires par salle

Remise d'une documentation pédagogique papier ou numérique pendant le stage

La formation est constituée d'apports théoriques, d'exercices pratiques, de réflexions et de retours d'expérience

Évaluation

Auto-évaluation des acquis par le stagiaire via un questionnaire en ligne

Attestation de fin de stage remise au stagiaire