Formation Traitement efficace des données sur Kubernetes avec PySpark, Pandas et Polars

Module 1 : Bases des grandes données et de Spark

• Aperçu de l’écosystème des grandes données et rôle de Spark dans les plates-formes de données modernes
• Compréhension de l’architecture Spark : driver, exécuteurs, gestionnaire de cluster, évaluation paresseuse, DAG et planification d’exécution
• Différences entre les API RDD et DataFrame et quand utiliser chaque approche
• Création et configuration de SparkSession et compréhension des bases de la configuration applicative

Module 2 : DataFrames PySpark

• Lecture et écriture de données à partir de sources et formats d’entreprise : CSV, JSON, Parquet et Delta
• Travail avec les DataFrames PySpark : transformations, actions, expressions de colonnes, filtrage, jointures et agrégations
• Mise en œuvre d’opérations avancées telles que les fonctions fenêtrées, le traitement des horodatages et le travail avec des données imbriquées
• Application de contrôles de qualité des données et rédaction de code PySpark réutilisable et maintenable

Module 3 : Bases Kubernetes et Docker pour les utilisateurs de Spark

• Compréhension de la relation entre les images Docker et les pods Kubernetes et les processus driver et exécuteur de Spark — une vue conceptuelle pour les consommateurs de cluster, non pour les administrateurs
• Compréhension de ce qui se passe lorsqu’un job Spark s’exécute sur Kubernetes : ordonnancement des pods, demandes et limites de ressources, et comment les paramètres de session s’y appliquent
• Compréhension de ce que vous contrôlez à travers les paramètres de session Spark par rapport à ce que l’équipe plateforme contrôle via le provisioning du cluster — et pourquoi cette frontière est importante pour l’ajustement
• Exercice pratique : Inspecter un job Spark sur Kubernetes en cours d’exécution dans le cluster bac à sable et identifier les pods driver et exécuteur

Module 4 : Configuration de session Spark sur Kubernetes — Approfondissement

• Compréhension du nombre d’exécuteurs par rapport à leur taille : compromis entre mémoire et cœurs et comment y réfléchir
• Allocation mémoire du driver et des exécuteurs, surcoût mémoire, et comment cela se traduit en ressources de pod
• Allocation dynamique : comment elle se comporte sur Kubernetes, quand elle économise des ressources et quand elle ne le fait pas
• Exercice pratique : Exécuter le même job avec différentes configurations d’exécuteurs et de cœurs et comparer le temps d’exécution et l’utilisation des ressources

Module 5 : Comportement à l’échelle et optimisation des coûts

• Compréhension de la manière dont l’ajout ou le retrait de nœuds modifie le comportement du job, le temps d’achèvement et la consommation des ressources
• Comparaison entre de nombreux petits exécuteurs et un plus petit nombre de grands : compromis entre performance et coût
• Comportement du shuffling et ajustement des partitions de shuffle, y compris l’estimation de l’impact sur les coûts des choix de configuration
• Exercice pratique : Passer le cluster bac à sable de cinq à dix nœuds et observer l’effet sur le temps d’achèvement du job et la consommation des ressources

Module 6 : Ingestion et partitionnement efficaces des données

• Compréhension du problème des fichiers volumineux : pourquoi les sources réparties en de nombreux fichiers Parquet de 1 à 5 Mo dégradent les performances et faussent le partitionnement
• Stratégies de repartitionnement et de coalescence
• Contrôle de la taille des partitions à la lecture et à l’écriture
• Écriture efficace de Parquet pour éviter de recréer le problème des fichiers volumineux en aval
• Exercice pratique : Charger un ensemble de données composé de nombreuses petites partitions Parquet, appliquer différentes stratégies de repartitionnement et comparer les performances avant et après optimisation

Module 7 : Gestion de la mémoire avec Pandas et diagnostic des pannes

• Compréhension des causes racines des erreurs de mémoire insuffisante dans Pandas et reconnaissance des symptômes
• Application de motifs de conversion efficaces en mémoire entre Spark et Pandas
• Éviter les explosions de mémoire lors de l’écriture de grands jeux de données en CSV
• Utilisation du traitement par lots et de l’optimisation des types de données pour les environnements contraints
• Exercice pratique : Reproduire un scénario typique de mémoire insuffisante avec Pandas et le résoudre en utilisant le traitement par lots et l’optimisation des types de données

Module 8 : Polars comme outil complémentaire

• Positionnement de Polars par rapport à Pandas : caractéristiques de performance, évaluation paresseuse et comportement mémoire
• Compréhension de la place de Polars aux côtés de PySpark et Pandas dans les piles de données cloud modernes et les feuilles de route de migration, y compris les environnements AWS
• Exercice pratique : Réécrire une transformation intensive en Pandas avec Polars et comparer l’utilisation de la mémoire et la vitesse de traitement

Module 9 : Application de l’optimisation aux charges de travail ETL et ML

• Application des principes de configuration, de partitionnement et de gestion de la mémoire à travers un pipeline ETL réaliste
• Compréhension des considérations d’optimisation spécifiques aux charges de travail d’apprentissage automatique exécutées sur le même cluster
• Application d’un flux de travail d’ajustement pratique pour diagnostiquer systématiquement les problèmes de coûts et de performances
• Exercice pratique : Terminer un mini-projet de bout en bout combinant le chargement des données, la transformation et une étape simple d’entraînement de modèle, les participants ajustant eux-mêmes la configuration Spark