Formation Flux de données et traitement de données en temps réel

Cette formation en présentiel ou en ligne, animée par un formateur, est dispensée à <lieu> et s'adresse aux professionnels des données de niveau avancé souhaitant optimiser leurs flux de traitement des données, garantir l'intégrité des données et mettre en œuvre des solutions de lakehouse robustes capables de gérer les complexités des applications modernes de données massives.

À l'issue de cette formation, les participants seront capables de :

• Acquérir une compréhension approfondie de l'architecture d'Iceberg, y compris la gestion des métadonnées et la disposition des fichiers.
• Configurer Iceberg pour une performance optimale dans divers environnements et l'intégrer avec plusieurs moteurs de traitement de données.
• Gérer des tables Iceberg à grande échelle, effectuer des modifications de schéma complexes et gérer l'évolution des partitions.
• Maîtriser les techniques d'optimisation des performances des requêtes et de l'efficacité des scans de données pour les grands ensembles de données.
• Mettre en œuvre des mécanismes pour assurer la cohérence des données, gérer les garanties transactionnelles et gérer les échecs dans les environnements distribués.

Cette formation en direct animée par un formateur à Canada (en ligne ou sur site) s'adresse aux professionnels des données de niveau débutant qui souhaitent acquérir les connaissances et les compétences nécessaires pour utiliser efficacement Apache Iceberg dans la gestion d'ensembles de données à grande échelle, garantir l'intégrité des données et optimiser les flux de traitement des données.

À l'issue de cette formation, les participants seront en mesure de :

• Comprendre en profondeur l'architecture, les fonctionnalités et les avantages d'Apache Iceberg.
• Apprendre les formats de tables, le partitionnement, l'évolution des schémas et les capacités de voyage dans le temps.
• Installer et configurer Apache Iceberg dans différents environnements.
• Créer, gérer et manipuler des tables Iceberg.
• Comprendre le processus de migration des données depuis d'autres formats de tables vers Iceberg.

Cette formation animée par un instructeur en <lieu> (en ligne ou en présentiel) s'adresse aux data scientists et ingénieurs de niveau intermédiaire qui souhaitent utiliser Google Colab et Apache Spark pour le traitement et l'analyse de données massives.

À la fin de cette formation, les participants seront capables de :

• Mettre en place un environnement de données massives à l'aide de Google Colab et Spark.
• Traiter et analyser efficacement de grands ensembles de données avec Apache Spark.
• Visualiser les données massives dans un environnement collaboratif.
• Intégrer Apache Spark à des outils basés sur le cloud.

Cette formation en direct avec un formateur (en ligne ou sur site) s'adresse aux ingénieurs des données, analystes de données et professionnels du secteur qui souhaitent utiliser Databricks et PySpark pour concevoir des pipelines de données évolutifs et migrer leurs workflows SQL existants.

Cette formation offre une introduction pratique à la création de pipelines de traitement de données et d'apprentissage automatique évolutifs à l'aide de PySpark. Les participants apprennent le fonctionnement d'Apache Spark au sein des écosystèmes modernes de Big Data et les méthodes pour traiter efficacement de grands ensembles de données en appliquant les principes du calcul distribué.

Ce cours pratique de trois jours se concentre sur la construction et l’optimisation de charges de travail de traitement de données efficaces à l’aide de PySpark, Pandas et Polars dans des environnements basés sur Kubernetes.

Les participants développeront une compréhension pratique de la manière dont les applications Spark s’exécutent sur Kubernetes et comment les décisions de configuration au niveau de l’application influencent les performances, la scalabilité, la consommation des ressources et les coûts. Le cours aborde les domaines clés d’optimisation, notamment la dimension des exécuteurs, l’allocation mémoire, l’allocation dynamique, les stratégies de partitionnement, le comportement du shuffling, les problèmes de fichiers volumineux et le traitement efficace de Parquet.

Le cours traite également des défis courants lors de l’utilisation de Pandas, y compris les limites de mémoire et les échecs de mémoire insuffisante, et présente Polars comme une alternative haute performance pour certaines charges de travail de traitement de données. Grâce à des exercices pratiques, les participants diagnostiqueront les problèmes de performances et de mémoire, compareront différentes stratégies de configuration et appliqueront des techniques d’optimisation à des scénarios réalistes de ETL et d’apprentissage automatique.

La priorité tout au long du cours est portée sur la prise de décision pratique : comprendre comment identifier les goulots d’étranglement, choisir l’outil approprié, configurer Spark efficacement et équilibrer les performances avec la consommation des ressources d’infrastructure et les coûts.

Cette formation en direct, dirigée par un instructeur en <lieu> (en ligne ou sur site), s'adresse aux ingénieurs qui souhaitent mettre en place et déployer un système Apache Spark pour traiter de très grands volumes de données.

À la fin de cette formation, les participants seront capables de :

• Installer et configurer Apache Spark.
• Traiter et analyser rapidement de très grands ensembles de données.
• Comprendre la différence entre Apache Spark et Hadoop MapReduce, ainsi que les contextes d'utilisation de chacun.
• Intégrer Apache Spark à d'autres outils d'apprentissage automatique.

Cette formation en direct, animée par un instructeur, en Canada (en ligne ou sur site), s'adresse aux administrateurs systèmes débutants à intermédiaires souhaitant déployer, maintenir et optimiser des clusters Spark.

À l'issue de cette formation, les participants seront en mesure de :

• Installer et configurer Apache Spark dans divers environnements.
• Gérer les ressources du cluster et surveiller les applications Spark.
• Optimiser les performances des clusters Spark.
• Mettre en place des mesures de sécurité et garantir une haute disponibilité.
• Identifier les problèmes et résoudre les pannes courantes de Spark.

Dans cette formation en direct animée par un formateur sur Canada, les participants apprendront à utiliser Python et Spark ensemble pour analyser le Big Data, en réalisant des exercices pratiques.

À la fin de cette formation, les participants seront capables de :

• Apprendre à utiliser Spark avec Python pour analyser le Big Data.
• Réaliser des exercices qui simulent des cas réels.
• Utiliser différents outils et techniques d'analyse de données massives à l'aide de PySpark.

Cette formation en présentiel ou en ligne, encadrée par un formateur, dans <lieu> s'adresse aux développeurs souhaitant utiliser et intégrer Spark, Hadoop et Python pour traiter, analyser et transformer des ensembles de données volumineux et complexes.

À l'issue de cette formation, les participants seront capables de :

• Configurer l'environnement nécessaire pour commencer à traiter des données massives avec Spark, Hadoop et Python.
• Comprendre les fonctionnalités, les composants clés et l'architecture de Spark et Hadoop.
• Apprendre à intégrer Spark, Hadoop et Python pour le traitement des données massives.
• Explorer les outils de l'écosystème Spark (Spark MLlib, Spark Streaming, Kafka, Sqoop, Kafka et Flume).
• Construire des systèmes de recommandation basés sur le filtrage collaboratif, similaires à ceux utilisés par Netflix, YouTube, Amazon, Spotify et Google.
• Utiliser Apache Mahout pour mettre à l'échelle les algorithmes d'apprentissage automatique.