Formation Administration de Confluent Apache Kafka

Module 1 : Introduction à l'architecture et à la configuration du cluster Confluent Apache Kafka

• Rôle de Kafka dans les pipelines de données modernes
• Différences entre Apache Kafka et Confluent Kafka
• Composants clés : producteurs, consommateurs, brokers, sujets, partitions
• Modèles de déploiement de clusters Kafka et considérations relatives à l'extensibilité

Module 2 : Configuration du quorum Zookeeper

• Qu'est-ce que Zookeeper ?
• Rôle de Zookeeper dans un cluster Kafka
• Taille du quorum Zookeeper
• Configuration de Zookeeper
• Implémentation de SSH sur nos serveurs
• Pratique : Configuration de Zookeeper (en équipe et en tant que service)
• Utilisation de l'interface en ligne de commande (CLI) de Zookeeper
• Pratique : Configuration du quorum Zookeeper
• Système de fichiers interne de Zookeeper
• Facteurs de performance affectant Zookeeper
• Démonstration des outils de gestion pour Zookeeper et Zoonavigator

Module 3 : Configuration du cluster Kafka

• Concepts de base de Kafka
• Configuration de Kafka
• Pratique : Configuration des brokers Kafka
• Pratique : Exécution de commandes Kafka
• Pratique : Configuration d'un cluster Kafka multi-brokers
• Pratique : Test du cluster Kafka
• puis-je me connecter à mon cluster Kafka ?
• Configuration Advertised.listeners : paramètre le plus important
• Configuration des sujets (topics)
• Configuration pour le téléchargement et l'ingestion de messages dans les sujets
• Pratique : Démonstration de la résilience de Kafka
• Performance Kafka : E/S
• Performance Kafka : Réseau (RED)
• Performance Kafka : RAM
• Performance Kafka : CPU
• Performance Kafka : Système d'exploitation (OS)
• Performance Kafka : Autres aspects
• Pratique : Comment modifier la configuration d'un broker Kafka

Module 4 : Configuration avancée de Kafka

• Interface utilisateur Landoop pour les sujets Kafka, configuration de Confluent REST Proxy et de Confluent Schema Registry
• Envoi et réception de messages (CLI, Java et framework Spring)
• Métriques de surveillance et outils (Confluent Control Center, Elasticsearch, etc.)
• Fichiers journaux et gestion des décalages (offsets)
• Haute disponibilité et récupération après catastrophe
• Assurer la haute disponibilité par la réplication
• Optimisation des performances des producteurs et des consommateurs
• Stratégies de récupération après catastrophe
• Contrôle du basculement (failover) et récupération des données
• Configuration des connecteurs
• Implémentation de Kafka Connect
• Fonctionnalités de sécurité de Kafka

Résumé et prochaines étapes