Formation Hadoop en Waterloo

Cette formation en Waterloo (en ligne ou sur site) est destinée aux développeurs qui souhaitent utiliser et intégrer Spark, Hadoop et Python pour traiter, analyser et transformer des ensembles de données complexes et volumineux.

A l'issue de cette formation, les participants seront capables de :

• Mettre en place l'environnement nécessaire pour commencer à traiter les big data avec Spark, Hadoop et Python.
• Comprendre les fonctionnalités, les composants de base et l'architecture de Spark et Hadoop.
• Apprendre à intégrer Spark, Hadoop et Python pour le traitement des big data.
• Explorer les outils de l'écosystème Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka et Flume).
• Construire des systèmes de recommandation par filtrage collaboratif similaires à Netflix, YouTube, Amazon, Spotify et Google.
• Utiliser Apache Mahout pour mettre à l'échelle des algorithmes d'apprentissage automatique.

Ce cours explique comment utiliser le SQL Hive SQL (AKA: Hive HQL, SQL sur Hive , Hive QL) pour les personnes qui extraient des données à partir de Hive

Le cours s'adresse aux spécialistes de l'informatique :

Ce cours s'adresse aux spécialistes de l'informatique qui recherchent une solution pour stocker et traiter de grands ensembles de données dans un environnement de système distribué.

Goal :

Connaissance approfondie de l'administration des clusters Hadoop.

L'analyse de données volumineuses implique l'examen de grandes quantités d'ensembles de données variés afin de découvrir des corrélations, des modèles cachés et d'autres informations utiles.

L'industrie de la santé dispose de quantités massives de données médicales et cliniques hétérogènes complexes. L'application de l'analyse de données volumineuses sur les données de santé présente un potentiel énorme pour la compréhension de l'amélioration de la prestation des soins de santé. Cependant, l'énormité de ces ensembles de données pose de grands défis pour les analyses et les applications pratiques dans un environnement clinique.

Au cours de cette formation en direct animée par un instructeur (à distance), les participants apprendront à effectuer des analyses de données volumineuses dans le domaine de la santé tout en effectuant une série d'exercices pratiques en laboratoire.

À la fin de cette formation, les participants seront en mesure de:

• Installer et configurer des outils d'analyse de données volumineuses tels que Hadoop MapReduce et Spark
• Comprendre les caractéristiques des données médicales
• Appliquer des techniques Big Data pour traiter des données médicales
• Etudiez les systèmes de données volumineuses et les algorithmes dans le contexte d'applications de santé

Public

• Développeurs
• Data Scientists

Format du cours

• Partie lecture, partie discussion, exercices et exercices intensifs.

Remarque

• Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser cela.

Le cours s'adresse aux informaticiens qui recherchent une solution pour stocker et traiter de grands ensembles de données dans un environnement de système distribué.

Objectif du cours :

Acquérir des connaissances sur l'administration des clusters Hadoop.

Apache Hadoop est le framework le plus populaire pour traiter Big Data sur des clusters de serveurs. Dans ce cours de trois (optionnellement, quatre) jours, les participants apprendront les avantages commerciaux et les cas d'utilisation de Hadoop et de son écosystème, comment planifier le déploiement et la croissance d'un cluster, comment installer, maintenir, surveiller, dépanner et optimiser Hadoop. Ils s'exerceront également au chargement de données en masse, se familiariseront avec les différentes distributions de Hadoop et s'entraîneront à installer et à gérer les outils de l'écosystème Hadoop. Le cours se termine par une discussion sur la sécurisation des clusters avec Kerberos.

"...Le matériel était très bien préparé et couvert de manière exhaustive. Le laboratoire était très utile et bien organisé"
- Andrew Nguyen, Ingénieur DW d'intégration principal, Microsoft Online Advertising

Audience

Hadoop administrateurs

Format

Cours magistraux et travaux pratiques, approximativement 60% de cours magistraux et 40% de travaux pratiques.

Apache Hadoop est le framework le plus populaire pour le traitement Big Data sur des clusters de serveurs. Ce cours introduira le développeur aux différents composants (HDFS, MapReduce, Pig, Hive et HBase) Hadoop de l'écosystème.

Apache Hadoop est l'un des frameworks les plus populaires pour le traitement Big Data sur des clusters de serveurs. Ce cours aborde la gestion des données dans HDFS, Pig avancé, Hive, et HBase. Ces techniques de programmation avancées seront bénéfiques pour les développeurs Hadoop expérimentés.

Public: développeurs

Durée : trois jours

Format : cours magistraux (50%) et travaux pratiques (50%).

Public :

Ce cours vise à démystifier la technologie big data/hadoop et à montrer qu'elle n'est pas difficile à comprendre.

Cette formation en direct avec instructeur (en ligne ou sur site) s'adresse aux administrateurs système qui souhaitent apprendre à mettre en place, déployer et gérer des clusters Hadoop au sein de leur organisation.

A l'issue de cette formation, les participants seront capables de :

• Installer et configurer Apache Hadoop.
• Comprendre les quatre composants majeurs de l'écosystème Hadoop : HDFS, MapReduce, YARN et Hadoop Common.
• Utiliser le système de fichiers distribués Hadoop (HDFS) pour faire évoluer un cluster vers des centaines ou des milliers de nœuds. 
• Configurer HDFS comme moteur de stockage pour les déploiements Spark sur site.
• Configurer Spark pour accéder à des solutions de stockage alternatives telles qu'Amazon S3 et des systèmes de base de données NoSQL tels que Redis, Elasticsearch, Couchbase, Aerospike, etc.
• Exécuter des tâches administratives telles que le provisionnement, la gestion, la surveillance et la sécurisation d'un cluster Apache Hadoop.

Ce cours présente HBase - un magasin No SQL au-dessus de Hadoop . Le cours est destiné aux développeurs qui utiliseront HBase pour développer des applications et aux administrateurs qui géreront les clusters HBase.

Nous guiderons un développeur à travers l'architecture HBase, la modélisation de données et le développement d'applications sur HBase. Il discutera également de l’utilisation de MapReduce avec HBase et de quelques sujets d’administration liés à l’optimisation des performances. Le cours est très pratique avec de nombreux exercices de laboratoire.

Durée : 3 jours

Audience : Développeurs et Administrateurs

Cette formation en direct à Waterloo (en ligne ou sur site) présente Hortonworks Data Platform (HDP) et accompagne les participants dans le déploiement de la solution Spark + Hadoop.

A l'issue de cette formation, les participants seront capables de :

• Utiliser Hortonworks pour exécuter de manière fiable Hadoop à grande échelle.
• Unifier les capacités de sécurité, de gouvernance et d'exploitation de Hadoop avec les flux de travail analytiques agiles de Spark.
• Utiliser Hortonworks pour étudier, valider, certifier et prendre en charge chacun des composants d'un projet Spark.
• Traiter différents types de données, notamment structurées, non structurées, en mouvement et au repos.

Cloudera Impala est un moteur de requête open source de traitement massivement parallèle (MPP) SQL pour les clusters Apache Hadoop.

Cloudera Impala permet aux utilisateurs d'émettre des requêtes à faible latence SQL sur des données stockées dans Hadoop Distributed File System et Apache Hbase sans avoir à déplacer ou à transformer les données.

Public

Ce cours s'adresse aux analystes et aux scientifiques des données qui effectuent des analyses sur des données stockées dans Hadoop via des outils Business Intelligence ou SQL.

À l'issue de cette formation, les participants seront en mesure de

• Extraire des informations significatives des clusters Hadoop avec Impala.
• Écrire des programmes spécifiques pour faciliter Business Intelligence dans Impala SQL Dialecte.
• Dépanner Impala.

Au cours de cette formation en direct, dirigée par un instructeur, à Waterloo (sur place ou à distance), les participants apprendront à déployer et à gérer Apache NiFi dans un environnement de laboratoire réel.

A la fin de cette formation, les participants seront capables de :

• Installer et configurer Apachi NiFi.
• Rechercher, transformer et gérer des données à partir de sources de données disparates et distribuées, y compris les bases de données et les lacs de données.
• Automatiser les flux de données.
• Permettre l'analyse en continu.
• Appliquer différentes approches pour l'ingestion de données.
• Transformer les données Big Data en informations commerciales.

Au cours de cette formation en direct et dirigée par un instructeur dans Waterloo, les participants apprendront les principes fondamentaux de la programmation par flux en développant un certain nombre d'extensions, de composants et de processeurs de démonstration à l'aide de Apache NiFi.

A la fin de cette formation, les participants seront capables de :

• Comprendre l'architecture de NiFi et les concepts de flux de données.
• Développer des extensions en utilisant NiFi et des APIs tierces.
• Développer leur propre processeur Apache Nifi.
• Ingérer et traiter des données en temps réel à partir de formats de fichiers et de sources de données disparates et peu communs.