Formation Python et Spark pour le Big Data (PySpark)

Cette formation en direct avec un formateur (en ligne ou sur site) s'adresse aux ingénieurs des données, analystes de données et professionnels du secteur qui souhaitent utiliser Databricks et PySpark pour concevoir des pipelines de données évolutifs et migrer leurs workflows SQL existants.

Cette formation offre une introduction pratique à la création de pipelines de traitement de données et d'apprentissage automatique évolutifs à l'aide de PySpark. Les participants apprennent le fonctionnement d'Apache Spark au sein des écosystèmes modernes de Big Data et les méthodes pour traiter efficacement de grands ensembles de données en appliquant les principes du calcul distribué.

Ce cours pratique de trois jours se concentre sur la construction et l’optimisation de charges de travail de traitement de données efficaces à l’aide de PySpark, Pandas et Polars dans des environnements basés sur Kubernetes.

Les participants développeront une compréhension pratique de la manière dont les applications Spark s’exécutent sur Kubernetes et comment les décisions de configuration au niveau de l’application influencent les performances, la scalabilité, la consommation des ressources et les coûts. Le cours aborde les domaines clés d’optimisation, notamment la dimension des exécuteurs, l’allocation mémoire, l’allocation dynamique, les stratégies de partitionnement, le comportement du shuffling, les problèmes de fichiers volumineux et le traitement efficace de Parquet.

Le cours traite également des défis courants lors de l’utilisation de Pandas, y compris les limites de mémoire et les échecs de mémoire insuffisante, et présente Polars comme une alternative haute performance pour certaines charges de travail de traitement de données. Grâce à des exercices pratiques, les participants diagnostiqueront les problèmes de performances et de mémoire, compareront différentes stratégies de configuration et appliqueront des techniques d’optimisation à des scénarios réalistes de ETL et d’apprentissage automatique.

La priorité tout au long du cours est portée sur la prise de décision pratique : comprendre comment identifier les goulots d’étranglement, choisir l’outil approprié, configurer Spark efficacement et équilibrer les performances avec la consommation des ressources d’infrastructure et les coûts.

Cette formation en direct, animée par un formateur, portant sur Canada, couvre la plateforme Stratio, en mettant l’accent sur les modules Rocket et Intelligence avec PySpark. Les participants maîtriseront l’ingestion, la transformation et les analyses avancées des données, acquérant des compétences pratiques dans les boucles, les UDF et les flux de travail de données d’entreprise.