Plan du cours
Les essentiels de l'administration de Kafka
- La place de Kafka dans une plateforme moderne de données et les responsabilités typiques en production
- Concepts fondamentaux pour les opérateurs : brokers, sujets, partitions, offsets, groupes de consommateurs
- Les bases de la réplication : leaders et followers, répliques en synchro, compromis sur la disponibilité
- Points forts opérationnels de Kafka et terminologie courante utilisée dans les runbooks
Le mode KRaft et la conception des clusters
- Bases du KRaft : contrôleurs, quorum de métadonnées, élections, et pourquoi cela importe opérationnellement
- Planification du déploiement : dimensionnement pour le débit, les partitions, la rétention et la croissance
- Rôles des nœuds et dispositions : contrôleurs combinés vs dédiés, considérations sur les domaines de panne
- Labo : inspecter les métadonnées KRaft, valider la santé du quorum, interpréter les journaux des contrôleurs
Installation, configuration et opérations quotidiennes
- Approches d'installation (paquets, tarball, conteneurs) et ce qu'il faut standardiser dans les environnements d'entreprise
- Configuration de base du broker qui impacte la fiabilité : listeners, réplication, répertoires de logs, rétention
- Opérations de service en toute sécurité : ordre de démarrage, arrêt gracieux et vérifications de validation
- Labo : déployer un cluster multi-nœuds, vérifier l'inscription du broker et confirmer la production et consommation basiques
Gestion des sujets, partitions et placement des données
- Cycle de vie des sujets avec le CLI Kafka : créer, décrire, mettre à jour les configurations, supprimer
- Choix des partitions et facteurs de réplication pour des charges de travail réelles, y compris les anti-patterns courants
- Réaffectations et équilibrage : quand déplacer des partitions et comment vérifier la progression en toute sécurité
- Labo : créer des sujets, déclencher une réaffectation de partition, simuler un arrêt du broker et confirmer la récupération
Sécurisation de Kafka pour la production
- TLS pour le trafic client et inter-broker : certificats, chaînes de confiance, et étapes de validation
- Authentification avec SASL : sélection des mécanismes courants et évitement des mauvaises configurations
- Autorisation avec ACLs : modèles de privilèges minimum pour les administrateurs, producteurs et consommateurs
- Labo : activer TLS et SASL, valider la connectivité client et appliquer des ACLs pour les rôles d'application
Observabilité, fiabilité et dépannage
- Essentiels de la surveillance : santé des contrôleurs, partitions sous-répliquées, latence des requêtes, saturation du disque et du réseau
- Journaux et métriques : lire les journaux de broker et exposer des métriques via l'exportateur JMX vers des piles d'observabilité courantes
- Playbooks opérationnels : redémarrages progressifs, changements de configuration en toute sécurité, gestion du disque plein et problèmes ISR
- Labo : construire un ensemble d'alertes minimal, diagnostiquer un cluster dégradé et restaurer une réplication saine
Mises à jour et préparation de la récupération après sinistre
- Planification des mises à jour pour Kafka : vérifications de compatibilité, environnement de staging, approche de retour en arrière
- Attentes de sauvegarde et de récupération : ce qui peut être sauvegardé, ce qui ne le peut pas, et bases de récupération des configurations
- Aperçu de la réplication inter-clusters et quand utiliser MirrorMaker 2 pour la DR et les migrations
- Bilan : checklist opérationnelle, artefacts de transfert, et prochaines étapes pour le déploiement en production
Pré requis
- Une compréhension de l'administration Linux de base (utilisateurs, services, fichiers, permissions)
- Une expérience avec les concepts de réseau TCP/IP (DNS, ports, pare-feu, équilibreurs de charge)
- Une expérience de script basique (Bash, PowerShell ou similaire) pour les tâches opérationnelles courantes
Public cible
- Administrateurs Kafka et ingénieurs de plateforme responsables du fonctionnement des clusters Kafka
- Ingénieurs de fiabilité du site et DevOps supportant les plateformes de streaming
- Équipes d'infrastructure et d'exploitation déployant de nouveaux clusters Kafka basés sur KRaft ou migrant depuis ZooKeeper
Nos clients témoignent (5)
Possibilité d'effectuer des exercices indépendants dans l'environnement de formation.
Tomasz - PKO Zycie Towarzystwo Ubezpieczen S.A.
Formation - Kafka for Administrators
Traduction automatique
Concis et rythmé (nécessite toutefois des bases de bash)
Krzysztof - Agora SA
Formation - Kafka for Administrators
Traduction automatique
Le formateur accepte les questions à tout moment de la session, même si le sujet a été abordé il y a quelques jours.
GOODLUCK MASHIMBA - Tanzania Revenue Authority
Formation - Kafka for Administrators
Traduction automatique
Bonne compétence en présentation
Md Maruf Hossain - ATOS PGS sp. z o.o.
Formation - Kafka for Administrators
Traduction automatique
Compétences exceptionnelles, exemples pertinents, très bons exercices
Marek Konieczny - G2A.COM Limited
Formation - Kafka for Administrators
Traduction automatique