Formation Kafka pour les administrateurs

Les fondamentaux de l'administration Kafka

• La place de Kafka dans une plate-forme de données moderne et les responsabilités de production typiques
• Concepts clés pour les opérateurs : brokers, topics, partitions, offsets, groupes de consommateurs
• Fondamentaux de la réplication : leaders et followers, réplicas synchrones, compromis de disponibilité
• Points forts opérationnels de Kafka et terminologie courante utilisée dans les procédures d'intervention

Mode KRaft et conception du cluster

• Les bases de KRaft : contrôleurs, quorum de métadonnées, élections et pourquoi cela est important opérationnellement
• Planification du déploiement : dimensionnement pour le débit, les partitions, la rétention et la croissance
• Rôles des nœuds et dispositions : contrôleurs combinés ou dédiés, considérations relatives aux domaines de défaillance
• Atelier : inspecter les métadonnées KRaft, valider la santé du quorum et interpréter les journaux des contrôleurs

Installation, configuration et opérations quotidiennes

• Méthodes d'installation (packages, archive tar, conteneurs) et éléments à standardiser dans les environnements d'entreprise
• Configuration de base du broker qui influence la fiabilité : écouteurs, réplication, répertoires de journaux, rétention
• Opérations de service sûres : ordre de démarrage, arrêt gracieux et vérifications de validation
• Atelier : déployer un cluster multi-nœuds, vérifier l'enregistrement du broker et confirmer la production et la consommation de base

Gestion des topics, des partitions et de l'emplacement des données

• Cycle de vie des topics via l'interface de ligne de commande Kafka : création, description, mise à jour des configurations, suppression
• Choix des partitions et des facteurs de réplication pour les charges de travail réelles, y compris les anti-modèles courants
• Réaffectations et équilibrage : quand déplacer les partitions et comment vérifier la progression en toute sécurité
• Atelier : créer des topics, déclencher une réaffectation de partition, simuler une panne de broker et confirmer la récupération

Sécurisation de Kafka pour la production

• TLS pour le trafic client et inter-broker : certificats, chaînes de confiance et étapes de validation
• Authentification avec SASL : sélection des mécanismes courants et éviter les erreurs de configuration
• Autorisation avec ACL : modèles de privilège minimal pour les administrateurs, les producteurs et les consommateurs
• Atelier : activer TLS et SASL, valider la connectivité cliente et appliquer des ACL pour les rôles d'application

Observabilité, fiabilité et dépannage

• Éléments essentiels de la surveillance : santé des contrôleurs, partitions sous-répliquées, latence des requêtes, saturation du disque et du réseau
• Journaux et métriques : lecture des journaux du broker et exposition des métriques via JMX exporter vers des piles d'observabilité courantes
• Procédures opérationnelles : redémarrages en cascade, modifications de configuration sûres, gestion des problèmes de disque plein et d'ISR
• Atelier : créer un ensemble d'alertes minimal, diagnostiquer un cluster dégradé et rétablir une réplication saine

Mises à jour et préparation à la reprise après sinistre

• Planification des mises à jour de Kafka : vérifications de compatibilité, staging et approche de retour arrière
• Sauvegardes et récupération : ce qui peut être sauvegardé, ce qui ne peut pas l'être et les bases de la récupération de la configuration
• Aperçu de la réplication inter-cluster et moment opportun pour utiliser MirrorMaker 2 pour la RAS et les migrations
• Conclusion : liste de vérification opérationnelle, éléments de transmission et prochaines étapes pour le déploiement en production