Formation Apache Airflow intermédiaire : Optimisation et mise à l'échelle des flux de travail

Cette formation animée par un formateur en Canada (en ligne ou en présentiel) s'adresse aux participants de niveau avancé qui souhaitent créer des opérateurs personnalisés, des capteurs et des plugins dans Apache Airflow, et les intégrer aux systèmes de données existants pour une automatisation et une surveillance avancées.

À l'issue de cette formation, les participants seront en mesure de :

• Développer des opérateurs personnalisés, des hooks et des capteurs adaptés à des workflows spécifiques.
• Concevoir et implémenter des plugins Airflow pour étendre les fonctionnalités.
• Intégrer les workflows Airflow avec des systèmes et services externes.
• Optimiser et surveiller les workflows à l'aide d'outils de débogage avancés.
• Appliquer les meilleures pratiques pour gérer des déploiements Airflow à grande échelle.

Cette formation en direct animée par un instructeur à <em> (en ligne ou sur site) s'adresse aux participants de niveau avancé souhaitant déployer Apache Airflow dans des environnements cloud, mettre en place des pipelines CI/CD et implémenter des pratiques robustes de surveillance et de journalisation.

À la fin de cette formation, les participants seront en mesure de :

• Déployer Apache Airflow dans des environnements cloud et conteneurisés.
• Mettre en place des pipelines CI/CD pour automatiser les tests et le déploiement des DAG.
• Intégrer des outils de surveillance et de journalisation pour améliorer la fiabilité du système.
• Optimiser les configurations d'Airflow pour les performances et l'évolutivité.
• Implémenter les meilleures pratiques de sécurité pour la gestion des workflows et des environnements.

Cette formation en direct dirigée par un instructeur à Canada (en ligne ou en présentiel) s'adresse à des participants de niveau intermédiaire souhaitant automatiser et gérer des flux de travail d'apprentissage automatique, y compris l'entraînement, la validation et le déploiement de modèles à l'aide d'Apache Airflow.

À la fin de cette formation, les participants seront capables de :

• Configurer Apache Airflow pour l'orchestration de flux de travail d'apprentissage automatique.
• Automatiser le prétraitement des données, l'entraînement des modèles et les tâches de validation.
• Intégrer Airflow avec des frameworks et des outils d'apprentissage automatique.
• Déployer des modèles d'apprentissage automatique à l'aide de pipelines automatisés.
• Surveiller et optimiser les flux de travail d'apprentissage automatique en environnement de production.

Apache Airflow est une plateforme open source permettant de concevoir, planifier et surveiller des workflows. Avec Airflow 2.x, les organisations peuvent orchestrer des pipelines de données à grande échelle, s'intégrer aux services cloud et garantir une observabilité et une sécurité robustes dans les environnements de production.

Cette formation en direct, dispensée par un formateur (en ligne ou sur site), s'adresse aux professionnels des données et de l'ingénierie DevOps de niveau débutant à intermédiaire qui souhaitent utiliser Apache Airflow pour construire, automatiser et mettre à l'échelle des pipelines de données de bout en bout.

À l'issue de cette formation, les participants seront en mesure de :

• Installer et configurer Apache Airflow dans différents environnements.
• Concevoir, planifier et surveiller des DAG à l'aide de l'API TaskFlow.
• Intégrer Airflow aux sources de données, aux services cloud et aux workflows de ML.
• Gérer les pipelines ETL et garantir la fiabilité des données.
• Sécuriser et mettre à l'échelle Airflow en utilisant des exécuteurs, des files d'attente et Kubernetes.
• Appliquer les bonnes pratiques d'observabilité pour les déploiements en production.

Format de la formation

• Conférence interactive et débats.
• De nombreux exercices et mises en pratique.
• Implémentation pratique dans un environnement de labo en direct.

Options de personnalisation de la formation

• Pour demander une formation personnalisée pour ce cours, veuillez nous contacter afin de l'organiser.