Formation PySpark en Dartmouth

Dans cette formation en direct animée par un formateur sur Dartmouth, les participants apprendront à utiliser Python et Spark ensemble pour analyser le Big Data, en réalisant des exercices pratiques.

À la fin de cette formation, les participants seront capables de :

• Apprendre à utiliser Spark avec Python pour analyser le Big Data.
• Réaliser des exercices qui simulent des cas réels.
• Utiliser différents outils et techniques d'analyse de données massives à l'aide de PySpark.

Cette formation en direct avec un formateur (en ligne ou sur site) s'adresse aux ingénieurs des données, analystes de données et professionnels du secteur qui souhaitent utiliser Databricks et PySpark pour concevoir des pipelines de données évolutifs et migrer leurs workflows SQL existants.

Cette formation offre une introduction pratique à la création de pipelines de traitement de données et d'apprentissage automatique évolutifs à l'aide de PySpark. Les participants apprennent le fonctionnement d'Apache Spark au sein des écosystèmes modernes de Big Data et les méthodes pour traiter efficacement de grands ensembles de données en appliquant les principes du calcul distribué.

Ce cours pratique de trois jours se concentre sur la construction et l’optimisation de charges de travail de traitement de données efficaces à l’aide de PySpark, Pandas et Polars dans des environnements basés sur Kubernetes.

Les participants développeront une compréhension pratique de la manière dont les applications Spark s’exécutent sur Kubernetes et comment les décisions de configuration au niveau de l’application influencent les performances, la scalabilité, la consommation des ressources et les coûts. Le cours aborde les domaines clés d’optimisation, notamment la dimension des exécuteurs, l’allocation mémoire, l’allocation dynamique, les stratégies de partitionnement, le comportement du shuffling, les problèmes de fichiers volumineux et le traitement efficace de Parquet.

Le cours traite également des défis courants lors de l’utilisation de Pandas, y compris les limites de mémoire et les échecs de mémoire insuffisante, et présente Polars comme une alternative haute performance pour certaines charges de travail de traitement de données. Grâce à des exercices pratiques, les participants diagnostiqueront les problèmes de performances et de mémoire, compareront différentes stratégies de configuration et appliqueront des techniques d’optimisation à des scénarios réalistes de ETL et d’apprentissage automatique.

La priorité tout au long du cours est portée sur la prise de décision pratique : comprendre comment identifier les goulots d’étranglement, choisir l’outil approprié, configurer Spark efficacement et équilibrer les performances avec la consommation des ressources d’infrastructure et les coûts.