Plan du cours
Fondements des applications à forte intensité de données Platform Engineering
- Introduction aux applications à forte intensité de données
- Défis de l'ingénierie des plateformes pour les données volumineuses
- Aperçu des architectures de traitement des données
Modélisation des données et Management
- Principes de modélisation des données pour l'évolutivité
- Options de stockage des données et optimisation
- Gestion du cycle de vie des données dans un environnement distribué
Big Data Cadres de traitement
- Vue d'ensemble des outils de traitement des big data (Hadoop, Spark, Flink)
- Traitement par lots ou par flux
- Mise en place d'un pipeline de traitement des big data
Plateformes d'analyse en temps réel
- Architecture pour l'analyse en temps réel
- Moteurs de traitement des flux (Kafka Streams, Apache Storm)
- Création de tableaux de bord et de visualisations en temps réel
Orchestration du pipeline de données
- Gestion des flux de travail avec Apache Airflow et autres
- Automatisation des pipelines de données pour plus d'efficacité
- Surveillance et alertes pour les pipelines de données
Sécurité et conformité des plateformes
- Meilleures pratiques de sécurité pour les plateformes de données
- Garantir la confidentialité des données et la conformité réglementaire
- Mise en œuvre de contrôles d'accès aux données sécurisés
Optimisation des performances
- Techniques d'optimisation du débit et de la latence des données
- Stratégies de mise à l'échelle pour les plateformes de données intensives
- Analyse comparative des performances et surveillance
Études de cas et meilleures pratiques
- Analyse des mises en œuvre réussies de plateformes de données
- Leçons tirées des leaders de l'industrie
- Tendances émergentes dans l'ingénierie des plateformes de données intensives
Projet de référence
- Conception d'une solution de plateforme pour une application à forte intensité de données
- Mise en œuvre d'un prototype de pipeline de traitement des données
- Évaluer les performances et l'évolutivité de la plateforme
Résumé et prochaines étapes
Pré requis
- Compréhension des structures de données et des algorithmes de base
- Expérience de la programmation Java, Scala ou Python.
- Familiarité avec les concepts de base des bases de données et SQL.
Public
- Développeurs de logiciels
- Ingénieurs en données
- Responsables techniques
Nos Clients témoignent (3)
I am getting the correct level of understanding I need to assist in my day to day work
Wasfi Adams
Formation - Impacted Function Point (IFP)
The trainer was super engaging and made sure we understand through questioning and affirmations. Even though the content was overwhelming, the trainer broke it down well and made content easily accessible for later reference.
Zaid Amerika
Formation - Unit of Software Measurement Parameterization (UMSP)
Everything was built up from a basic level while progressing quick enough to prevent anyone getting bored.