Plan du cours
Introduction
Vue d'ensemble des caractéristiques et de l'architecture de Spark Streaming.
- Sources de données prises en charge
- API de base
Préparation de l'environnement
- Dépendances
- Spark et le contexte du streaming
- Connexion à Kafka
Traitement des messages
- Analyse des messages entrants en JSON
- Processus ETL
- Démarrage du contexte de diffusion en continu
Réalisation d'une fenêtre Stream Processing
- Intervalle entre les diapositives
- Configuration de la livraison des points de contrôle
- Lancement de l'environnement
Prototypage du code de traitement
- Se connecter à un sujet Kafka
- Récupération de JSON à partir d'une source de données à l'aide de Paw
- Variantes et traitements supplémentaires
Diffusion en continu du code
- Variables de contrôle des travaux
- Définition des valeurs à faire correspondre
- Fonctions et conditions
Acquisition de flux de sortie
- Compteurs
- Sortie Kafka (appariée et non appariée)
Dépannage
Résumé et conclusion
Pré requis
- Expérience avec Python et Apache Kafka
- Familiarité avec les plateformes de traitement de flux
Public
- Ingénieurs de données
- Data scientists
- Programmeurs
Nos Clients témoignent (5)
Exemples/exercices parfaitement adaptés à notre domaine
Luc - CS Group
Formation - Scaling Data Analysis with Python and Dask
Traduction automatique
Le formateur était très disponible pour répondre à toutes les questions que je me posais.
Caterina - Stamtech
Formation - Developing APIs with Python and FastAPI
Traduction automatique
It was a though course as we had to cover a lot in a short time frame. Our trainer knew a lot about the subject and delivered the content to address our requirements. It was lots of content to learn but our trainer was helpful and encouraging. He answered all our questions with good detail and we feel that we learned a lot. Exercises were well prepared and tasks were tailored accordingly to our needs. I enjoyed this course
Bozena Stansfield - New College Durham
Formation - Build REST APIs with Python and Flask
Transfert des connaissances pratiques et de l'expérience du formateur.
Rumel Mateusz - Pojazdy Szynowe PESA Bydgoszcz SA
Formation - GUI Programming with Python and PyQt
Traduction automatique
As I was the only participant the training could be adapted to my needs.