Formation Administration de Confluent Apache Kafka

Module 1 : Introduction à l'architecture et à la configuration du cluster Confluent Apache Kafka

• Rôle de Kafka dans les pipelines de données modernes
• Différences entre Apache Kafka et Confluent Kafka
• Composants clés : producteurs, consommateurs, brokers, sujets, partitions
• Modèles de déploiement de clusters Kafka et considérations en matière d'extension

Module 2 : Configuration du quorum Zookeeper

• Qu'est-ce que Zookeeper ?
• Rôle de Zookeeper dans un cluster Kafka
• Taille du quorum Zookeeper
• Configuration de Zookeeper
• Mise en œuvre de SSH sur nos serveurs
• Pratique : Configuration de Zookeeper (en tant qu'équipe et en tant que service)
• Utilisation de l'interface en ligne de commande (CLI) de Zookeeper
• Pratique : Configuration du quorum Zookeeper
• Système de fichiers interne de Zookeeper
• Facteurs de performance affectant Zookeeper
• Démonstration des outils de gestion pour Zookeeper et Zoonavigator

Module 3 : Configuration du cluster Kafka

• Concepts de base de Kafka
• Configuration de Kafka
• Pratique : Configuration du broker Kafka
• Pratique : Exécution des commandes Kafka
• Pratique : Configuration d'un cluster Kafka multi-broker
• Pratique : Test du cluster Kafka
• Puis-je me connecter à mon cluster Kafka ?
• Configuration Advertised.listeners : le paramètre le plus important
• Configuration des sujets
• Configuration pour le téléchargement et l'ingestion de messages dans les sujets
• Pratique : Démonstration de la résilience de Kafka
• Performance de Kafka : Entrées/Sorties (I/O)
• Performance de Kafka : Réseau (RED)
• Performance de Kafka : Mémoire vive (RAM)
• Performance de Kafka : Processeur (CPU)
• Performance de Kafka : Système d'exploitation (OS)
• Performance de Kafka : Autres facteurs
• Pratique : Comment modifier la configuration du broker Kafka

Module 4 : Configuration avancée de Kafka

• Interface utilisateur de sujet Landoop Kafka, configuration de Confluent REST Proxy et de Confluent Schema Registry
• Envoi et réception de messages (CLI, Java et framework Spring)
• Métriques et outils de surveillance (Confluent Control Center, Elasticsearch, etc.)
• Fichiers journaux et gestion des offsets
• Haute disponibilité et reprise après sinistre
• Assurer la haute disponibilité par la réplication
• Optimisation des performances des producteurs et des consommateurs
• Stratégies de reprise après sinistre
• Contrôle du basculement et récupération des données
• Configuration des connecteurs
• Mise en œuvre de Kafka Connect
• Fonctionnalités de sécurité de Kafka

Résumé et prochaines étapes