Formation Entreposage de données : Concepts, conception et mise en œuvre

Public cible :

Ce cours s'adresse aux spécialistes de l'informatique à la recherche de solutions pour stocker et traiter de grands ensembles de données dans un environnement de système distribué.

Objectif :

Acquérir une connaissance approfondie de l'administration de cluster Hadoop.

Cette formation animée par un instructeur en <lieu> (en ligne ou en présentiel) s'adresse aux data scientists et ingénieurs de niveau intermédiaire qui souhaitent utiliser Google Colab et Apache Spark pour le traitement et l'analyse de données massives.

À la fin de cette formation, les participants seront capables de :

• Mettre en place un environnement de données massives à l'aide de Google Colab et Spark.
• Traiter et analyser efficacement de grands ensembles de données avec Apache Spark.
• Visualiser les données massives dans un environnement collaboratif.
• Intégrer Apache Spark à des outils basés sur le cloud.

L'analyse des données massives (big data) consiste à examiner de grands volumes de jeux de données variés afin de découvrir des corrélations, des motifs cachés et d'autres informations utiles.

L'industrie de la santé fait face à d'énormes quantités de données médicales et cliniques complexes et hétérogènes. L'application de l'analyse des données massives aux données de santé présente un potentiel considérable pour obtenir des informations permettant d'améliorer la prestation des soins de santé. Cependant, l'ampleur de ces jeux de données pose d'importants défis en matière d'analyse et d'applications pratiques dans un environnement clinique.

Lors de cette formation en direct animée par un formateur (à distance), les participants apprendront à effectuer des analyses de données massives dans le secteur de la santé en réalisant une série d'exercices pratiques en laboratoire en direct.

À la fin de cette formation, les participants seront en mesure de :

• Installer et configurer des outils d'analyse des données massives, tels que Hadoop MapReduce et Spark.
• Comprendre les caractéristiques des données médicales.
• Appliquer des techniques de données massives pour traiter les données médicales.
• Étudier les systèmes et algorithmes de données massives dans le contexte des applications de santé.

Audience cible

• Développeurs
• Chercheurs en science des données

Format du cours

• Une combinaison de cours magistraux, de discussions, d'exercices et d'une pratique pratique intensive.

Note

• Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour en convenir.

Apache Hadoop est le cadre de travail le plus populaire pour le traitement des mégadonnées sur des grappes de serveurs. Au cours de cette formation de trois jours (ou quatre jours au choix), les participants apprendront à connaître les avantages commerciaux et les cas d'utilisation de Hadoop et de son écosystème, comment planifier le déploiement et la croissance de la grappe, comment installer, maintenir, surveiller, résoudre les problèmes d'incident et optimiser Hadoop. Ils pratiqueront également le chargement massif de données dans la grappe, se familiariseront avec diverses distributions Hadoop et apprendront à installer et gérer les outils de l'écosystème Hadoop. La formation se terminera par une discussion sur la sécurisation de la grappe avec Kerberos.

« … Les matériaux étaient très bien préparés et couverts de manière approfondie. Le laboratoire était très utile et bien organisé »
— Andrew Nguyen, Ingénieur principal d'intégration DW, Microsoft Online Advertising

Audience cible

Administrateurs Hadoop

Format

Conférences et ateliers pratiques, répartition approximative de 60 % de conférences et 40 % de travaux pratiques.

Apache Hadoop est le framework le plus populaire pour le traitement des mégadonnées (Big Data) sur des grappes de serveurs. Ce cours présente aux développeurs divers composants de l'écosystème Hadoop, notamment HDFS, MapReduce, Pig, Hive et HBase.

Apache Hadoop est l'un des frameworks les plus populaires pour le traitement des données volumineuses (Big Data) sur des grappes de serveurs. Ce cours explore la gestion des données dans HDFS, ainsi que les fonctionnalités avancées de Pig, Hive et HBase. Ces techniques de programmation avancées seront particulièrement bénéfiques aux développeurs Hadoop expérimentés.

Audience cible : développeurs

Durée : trois jours

Format : conférences (50 %) et travaux pratiques (50 %).

Public visé :

Ce cours a pour objet de démystifier la technologie Big Data/Hadoop et de démontrer qu'elle n'est pas difficile à comprendre.

Cette formation en direct animée par un formateur à <lieu> (en ligne ou sur site) s'adresse aux administrateurs système qui souhaitent apprendre à configurer, déployer et gérer des grappes Hadoop au sein de leur organisation.

À la fin de cette formation, les participants seront capables de :

• Installer et configurer Apache Hadoop.
• Comprendre les quatre composants principaux de l'écosystème Hadoop : HDFS, MapReduce, YARN et Hadoop Common.
• Utiliser le système de fichiers distribué Hadoop (HDFS) pour faire évoluer une grappe à des centaines ou des milliers de nœuds.
• Configurer HDFS pour qu'il fonctionne comme moteur de stockage pour les déploiements Spark sur site.
• Configurer Spark pour accéder à des solutions de stockage alternatives telles qu'Amazon S3 et des systèmes de bases de données NoSQL tels que Redis, Elasticsearch, Couchbase, Aerospike, etc.
• Effectuer des tâches administratives telles que le provisionnement, la gestion, la surveillance et la sécurisation d'une grappe Apache Hadoop.

Ce cours présente HBase, un entrepôt NoSQL reposant sur Hadoop. Il s'adresse aux développeurs qui utiliseront HBase pour créer des applications, ainsi qu'aux administrateurs chargés de gérer les clusters HBase.

Nous accompagnerons les développeurs dans la découverte de l'architecture de HBase, de la modélisation des données et du développement d'applications sur HBase. Le cours abordera également l'utilisation de MapReduce avec HBase, ainsi que certains aspects administratifs liés à l'optimisation des performances. Très pratique, ce cours comprend de nombreux exercices en laboratoire.

Durée : 3 jours

Public cible : Développeurs & Administrateurs

Apache NiFi est une plateforme open source d'intégration de données et de traitement d'événements basée sur des flux. Elle permet le routage, la transformation et la médiation entre systèmes en temps réel et automatisés, grâce à une interface web et un contrôle fin des opérations.

Cette formation en présentiel ou à distance, animée par un formateur expert, s'adresse aux administrateurs et ingénieurs de niveau intermédiaire souhaitant déployer, gérer, sécuriser et optimiser les flux de données NiFi dans des environnements de production.

À l'issue de cette formation, les participants seront en mesure de :

• Installer, configurer et maintenir des clusters Apache NiFi.
• Concevoir et gérer des flux de données provenant de diverses sources et destinations.
• Mettre en œuvre l'automatisation des flux, le routage et la logique de transformation.
• Optimiser les performances, surveiller les opérations et résoudre les problèmes.

Format de la formation

• Conférence interactive avec discussions sur des architectures réelles.
• Laboratoires pratiques : construction, déploiement et gestion des flux.
• Exercices scénarisés dans un environnement de laboratoire en direct.

Options de personnalisation de la formation

• Pour demander une formation personnalisée pour ce cours, veuillez nous contacter afin d'organiser cela.

Lors de cette formation en présentiel avec instructeur à <lieu>, les participants apprendront les principes fondamentaux de la programmation basée sur les flux tout en développant plusieurs extensions de démonstration, composants et processeurs à l'aide d'Apache NiFi.

À l'issue de cette formation, les participants seront en mesure de :

• Comprendre l'architecture de NiFi et les concepts de flux de données.
• Développer des extensions en utilisant NiFi et des API tierces.
• Créer sur mesure leur propre processeur Apache NiFi.
• Ingrérer et traiter des données en temps réel provenant de formats de fichiers et de sources de données diversifiés et inhabituels.

Cette formation offre une introduction pratique à la création de pipelines de traitement de données et d'apprentissage automatique évolutifs à l'aide de PySpark. Les participants apprennent le fonctionnement d'Apache Spark au sein des écosystèmes modernes de Big Data et les méthodes pour traiter efficacement de grands ensembles de données en appliquant les principes du calcul distribué.

Lors de cette formation en présentiel animée par un formateur à Canada, les participants apprendront à utiliser Python et Spark conjointement pour analyser les mégadonnées, tout en réalisant des exercices pratiques.

À la fin de cette formation, les participants seront en mesure de :

• Apprendre à utiliser Spark avec Python pour analyser les mégadonnées.
• Réaliser des exercices qui reproduisent des scénarios du monde réel.
• Utiliser divers outils et techniques d'analyse des mégadonnées avec PySpark.

Cette formation en présentiel ou en ligne, encadrée par un formateur, dans <lieu> s'adresse aux développeurs souhaitant utiliser et intégrer Spark, Hadoop et Python pour traiter, analyser et transformer des ensembles de données volumineux et complexes.

À l'issue de cette formation, les participants seront capables de :

• Configurer l'environnement nécessaire pour commencer à traiter des données massives avec Spark, Hadoop et Python.
• Comprendre les fonctionnalités, les composants clés et l'architecture de Spark et Hadoop.
• Apprendre à intégrer Spark, Hadoop et Python pour le traitement des données massives.
• Explorer les outils de l'écosystème Spark (Spark MLlib, Spark Streaming, Kafka, Sqoop, Kafka et Flume).
• Construire des systèmes de recommandation basés sur le filtrage collaboratif, similaires à ceux utilisés par Netflix, YouTube, Amazon, Spotify et Google.
• Utiliser Apache Mahout pour mettre à l'échelle les algorithmes d'apprentissage automatique.

Stratio est une plateforme centrée sur les données qui intègre le big data, l'IA et la gouvernance dans une seule et même solution. Ses modules Rocket et Intelligence permettent d'explorer, de transformer rapidement les données et de réaliser des analyses avancées dans les environnements d'entreprise.

Cette formation en direct, encadrée par un formateur (en ligne ou en présentiel), s'adresse aux professionnels des données de niveau intermédiaire souhaitant utiliser efficacement les modules Rocket et Intelligence de Stratio avec PySpark, en mettant l'accent sur les structures itératives, les fonctions définies par l'utilisateur et la logique avancée des données.

À l'issue de cette formation, les participants seront capables de :

• Naviguer au sein de la plateforme Stratio et travailler avec les modules Rocket et Intelligence.
• Appliquer PySpark dans le contexte de l'ingestion, de la transformation et de l'analyse des données.
• Utiliser des boucles et une logique conditionnelle pour contrôler les flux de données et les tâches d'ingénierie des fonctionnalités (feature engineering).
• Créer et gérer des fonctions définies par l'utilisateur (UDF) pour des opérations de données réutilisables dans PySpark.

Format du cours

• Cours interactif et discussions.
• Nombreux exercices et mises en pratique.
• Implémentation pratique dans un environnement de laboratoire en direct.

Options de personnalisation du cours

• Pour demander une formation personnalisée pour ce cours, veuillez nous contacter afin de prendre les arrangements nécessaires.