Merci d'avoir envoyé votre demande ! Un membre de notre équipe vous contactera sous peu.
Merci d'avoir envoyé votre réservation ! Un membre de notre équipe vous contactera sous peu.
Plan du cours
-
Introduction
- Historique et concepts de Hadoop
- Écosystème
- Distributions
- Architecture de haut niveau
- Mythes autour de Hadoop
- Défis de Hadoop (matériel / logiciel)
- Travaux pratiques : discussion sur vos projets et problèmes de mégadonnées
-
Planification et installation
- Sélection des logiciels et des distributions Hadoop
- Dimensionnement de la grappe et planification de la croissance
- Sélection du matériel et du réseau
- Topologie des racks
- Installation
- Multitenancy (multi-locataire)
- Structure des répertoires et journaux
- Tests de performance (benchmarking)
- Travaux pratiques : installation du cluster et exécution de tests de performance
-
Opérations HDFS
- Concepts (mise à l'échelle horizontale, réplication, localisation des données, prise en compte des racks)
- Nœuds et démons (NameNode, Secondary NameNode, HA Standby NameNode, DataNode)
- Surveillance de la santé du système
- Administration en ligne de commande et par navigateur
- Ajout de stockage et remplacement de disques défectueux
- Travaux pratiques : familiarisation avec les lignes de commande HDFS
-
Ingestion des données
- Flume pour les journaux et d'autres données à ingérer dans HDFS
- Sqoop pour l'importation depuis des bases de données SQL vers HDFS, ainsi que l'exportation vers SQL
- Entrepôt de données Hadoop avec Hive
- Copie de données entre les grappes (distcp)
- Utilisation de S3 en complément de HDFS
- Meilleures pratiques et architectures d'ingestion de données
- Travaux pratiques : configuration et utilisation de Flume, ainsi que de Sqoop
-
Opérations et administration MapReduce
- Calcul parallèle avant MapReduce : comparer l'administration HPC vs Hadoop
- Charges de la grappe MapReduce
- Nœuds et démons (JobTracker, TaskTracker)
- Visite guidée de l'interface utilisateur MapReduce
- Configuration MapReduce
- Configuration des tâches
- Optimisation de MapReduce
- Sécurisation de MR : quoi dire à vos programmeurs
- Travaux pratiques : exécution d'exemples MapReduce
-
YARN : nouvelle architecture et nouvelles capacités
- Objectifs de conception et architecture d'implémentation de YARN
- Nouveaux acteurs : ResourceManager, NodeManager, Application Master
- Installation de YARN
- Planification des tâches sous YARN
- Travaux pratiques : investigation de la planification des tâches
-
Sujets avancés
- Surveillance du matériel
- Surveillance de la grappe
- Ajout et suppression de serveurs, mise à niveau de Hadoop
- Planification de la sauvegarde, de la récupération et de la continuité des activités
- Flux de travail des tâches Oozie
- Haute disponibilité de Hadoop (HA)
- Fédération Hadoop
- Sécurisation de votre grappe avec Kerberos
- Travaux pratiques : configuration de la surveillance
-
Parcours optionnels
- Cloudera Manager pour l'administration de la grappe, la surveillance et les tâches courantes ; installation et utilisation. Dans ce parcours, tous les exercices et travaux pratiques sont effectués dans l'environnement de distribution Cloudera (CDH5)
- Ambari pour l'administration de la grappe, la surveillance et les tâches courantes ; installation et utilisation. Dans ce parcours, tous les exercices et travaux pratiques sont effectués dans le gestionnaire de grappe Ambari et Hortonworks Data Platform (HDP 2.0)
Pré requis
- à l'aise avec l'administration de base des systèmes Linux
- compétences de base en scripts
Des connaissances en Hadoop et en calcul distribué ne sont pas requises, mais seront introduites et expliquées au cours de la formation.
Environnement de laboratoire
Installation zéro : Il n'est pas nécessaire d'installer le logiciel Hadoop sur les machines des étudiants ! Un cluster Hadoop fonctionnel sera fourni aux étudiants.
Les étudiants auront besoin des éléments suivants :
- un client SSH (Linux et Mac ont déjà des clients ssh, Putty est recommandé pour Windows)
- un navigateur pour accéder au cluster. Nous recommandons le navigateur Firefox avec l'extension FoxyProxy installée
21 Heures
Nos clients témoignent (1)
Exercices pratiques. La formation aurait dû durer 5 jours, mais les 3 jours ont permis de clarifier beaucoup de questions que je me posais déjà en travaillant avec NiFi.
James - BHG Financial
Formation - Apache NiFi for Administrators
Traduction automatique
