Plan du cours

Section 1 : Data Management dans HDFS

  • Différents formats de données (JSON / Avro / Parquet)
  • Schémas de compression
  • Masquage des données
  • Labs : Analyser les différents formats de données ; activer la compression

Section 2 : Pig avancé

  • Fonctions définies par l'utilisateur
  • Introduction aux bibliothèques Pig (ElephantBird / Data-Fu)
  • Chargement de données structurées complexes avec Pig
  • Ajustement de Pig
  • Labs : scripts Pig avancés, analyse de types de données complexes

Section 3 : Fonctions avancées Hive

  • Fonctions définies par l'utilisateur
  • Tables compressées
  • Hive Optimisation des performances
  • Labs : création de tables compressées, évaluation des formats de tables et de la configuration

Section 4 : HBase avancé

  • Modélisation avancée des schémas
  • Compression
  • Ingestion de données en masse
  • Comparaison table large / table haute
  • HBase et Pig
  • HBase et Hive
  • Optimisation des performances de HBase
  • Labs : réglage de HBase ; accès aux données HBase à partir de Pig & Hive ; utilisation de Phoenix pour la modélisation des données

Pré requis

  • à l'aise avec le langage de programmation Java (la plupart des exercices de programmation sont en Java)
  • A l'aise dans l'environnement Linux (être capable de naviguer dans la ligne de commande Linux, d'éditer des fichiers en utilisant vi / nano)
  • une connaissance pratique de Hadoop.

Lab environment

Zéro installation: Il n'est pas nécessaire d'installer le logiciel Hadoop sur les machines des étudiants ! Un cluster Hadoop fonctionnel sera fourni aux étudiants.

Les étudiants auront besoin des éléments suivants

  • un client SSH (Linux et Mac ont déjà des clients SSH, pour Windows Putty est recommandé)
  • un navigateur pour accéder au cluster. Nous recommandons le navigateur Firefox
 21 heures

Nombre de participants



Prix par participant

Nos Clients témoignent (6)

Cours Similaires

Big Data Analytics in Health

21 heures

Catégories Similaires