Plan du cours
1.1HadoopConcepts
1.1.1HDFS
- La conception de l'interface de ligne de commande HDFS Hadoop Système de fichiers
1.1.2Grappes
- Anatomie d'un cluster Nœud Mater / Nœud Esclave Nom Nœud / Nœud de Données
1.2 Manipulation des données
1.2.1MapReduce détaillé
- Phase de carte Phase de réduction Mélange
1.2.2Analyse avec Map Reduction
- Grouper par avec MapReduce Distributions de fréquence et tri avec MapReduce Traçage des résultats (GNU Plot) Histogrammes avec MapReduce Nuages de points avec MapReduce Analyser des ensembles de données complexes Comptage avec MapReduce et Combiners Créer des rapports
1.2.3Nettoyage des données
- Nettoyage de documents Recherche de chaînes floues Liaison d'enregistrements/déduplication de données Transformation et tri des dates d'événements Validation de la fiabilité de la source Supprimer les valeurs aberrantes
1.2.4Extraction et transformation des données
- Transformation des journaux Utilisation d'Apache Pig pour filtrer Utilisation d'Apache Pig pour trier Utilisation d'Apache Pig pour créer des sessions
1.2.5Jointures avancées
- Joindre des données dans le Mapper à l'aide de MapReduce Joindre des données à l'aide d'une jointure répliquée Apache Pig Joindre des données triées à l'aide d'une jointure par fusion Apache Pig Joindre des données asymétriques à l'aide d'une jointure asymétrique Apache Pig Utiliser une jointure côté carte dans Apache Hive Utiliser des jointures externes complètes optimisées dans Apache [1 ] Rejoindre des données à l'aide d'un magasin de valeurs de clé externe
1.3Techniques de diagnostic et d'optimisation des performances
- Carte Enquête sur les pics dans les données d'entrée Identification des problèmes de biais des données côté carte Débit des tâches de cartographie Petits fichiers Fichiers non fractionnables
Pré requis
Les participants ne sont pas tenus d'avoir des compétences spécifiques car la formation est axée sur les compétences des utilisateurs finaux tant pour l'administration que pour la manipulation des données sous Apache Hadoop.
Nos Clients témoignent (6)
Trainer's preparation & organization, and quality of materials provided on github.
Mateusz Rek - MicroStrategy Poland Sp. z o.o.
Formation - Impala for Business Intelligence
I thought he did a great job of tailoring the experience to the audience. This class is mostly designed to cover data analysis with HIVE, but me and my co-worker are doing HIVE administration with no real data analytics responsibilities.
ian reif - Franchise Tax Board
Formation - Data Analysis with Hive/HiveQL
Many hands-on sessions.
Jacek Pieczątka
Formation - Administrator Training for Apache Hadoop
The VM I liked very much The Teacher was very knowledgeable regarding the topic as well as other topics, he was very nice and friendly I liked the facility in Dubai.
Safar Alqahtani - Elm Information Security
Formation - Big Data Analytics in Health
The fact that all the data and software was ready to use on an already prepared VM, provided by the trainer in external disks.
vyzVoice
Formation - Hadoop for Developers and Administrators
practical things of doing, also theory was served good by Ajay