Formation Apache Kafka for Python Programmers
Apache Kafka est une plateforme de traitement de flux open-source qui fournit une plateforme rapide, fiable et à faible latence pour traiter les analyses de données en temps réel. Apache Kafka peut être intégré à des langages de programmation disponibles tels que Python.
Cette formation en direct (en ligne ou sur site) est destinée aux ingénieurs de données, aux scientifiques des données et aux programmeurs qui souhaitent utiliser les fonctionnalités de Apache Kafka dans le traitement des données en continu avec Python.
À la fin de cette formation, les participants seront en mesure d'utiliser Apache Kafka pour surveiller et gérer les conditions dans les flux de données continus en utilisant la programmation Python.
Format du cours permettant d'évaluer les participants
- Exposé et discussion interactifs.
- Beaucoup d'exercices et de pratique.
- Mise en œuvre pratique dans un environnement de laboratoire réel.
Options de personnalisation du cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter.
Plan du cours
Introduction
Aperçu des caractéristiques et de l'architecture de Apache Kafka pour Python
- API de base (producteur, consommateur, flux, connecteur)
- Concepts et utilisations
[L'intégration de Kafka dans Python
- Bibliothèques Python disponibles
- Formats de compression pris en charge
Installation Apache Kafka
- Installation sur ordinateur
- Installation d'un serveur privé virtuel et d'une machine virtuelle
Démarrer le serveur Kafka Broker
- Lecture et édition à l'aide d'un IDE (environnement de développement intégré)
- Exécution de Zookeeper
- Dossier Logs
Création d'un sujet Kafka
- Se connecter à un cluster Kafka
- Lire les détails d'un sujet
Envoi de messages à l'aide de producteurs
- Initiation d'un producteur
- Examiner les messages entrants
- Exécuter plusieurs producteurs
Consommer des messages
- Consommateur de la console Kafka
- Exécution de plusieurs consommateurs
Résolution des problèmes
Résumé et conclusion
Pré requis
- Expérience du langage de programmation Python
- Familiarité avec les plateformes de traitement de flux
Audience
- Ingénieurs en données
- Scientifiques des données
- Programmeurs
Les formations ouvertes requièrent plus de 3 participants.
Formation Apache Kafka for Python Programmers - Booking
Formation Apache Kafka for Python Programmers - Enquiry
Apache Kafka for Python Programmers - Demande d'informations consulting
Demande d'informations consulting
Nos clients témoignent (5)
Une pratique suffisante, le formateur est compétent
Chris Tan
Formation - A Practical Introduction to Stream Processing
Traduction automatique
Pendant les exercices, James m'a expliqué chaque étape en détail là où j'étais bloqué. Je n'avais aucune expérience avec NIFI au départ. Il m'a expliqué le véritable objectif de NIFI, y compris des notions de base comme le code source ouvert. Il a couvert tous les concepts de Nifi, du niveau débutant au niveau développeur.
Firdous Hashim Ali - MOD A BLOCK
Formation - Apache NiFi for Administrators
Traduction automatique
Que je l'aie eu dans un premier temps.
Peter Scales - CACI Ltd
Formation - Apache NiFi for Developers
Traduction automatique
Rappel/revue des points clés des sujets discutés.
Paolo Angelo Gaton - SMS Global Technologies Inc.
Formation - Building Stream Processing Applications with Kafka Streams
Traduction automatique
Informative and had correct level of detail I believe.
Asif Akhtar
Formation - Distributed Messaging with Apache Kafka
Traduction automatique
Cours à venir
Cours Similaires
Administration of Confluent Apache Kafka
21 HeuresConfluent Apache Kafka est une plateforme de flux événementiels distribuée conçue pour les canaux de données à haut débit, tolérants aux pannes et l'analyse en temps réel.
Cette formation en direct dirigée par un formateur (en ligne ou sur site) s'adresse aux administrateurs systèmes intermédiaires et aux professionnels DevOps qui souhaitent installer, configurer, surveiller et dépanner des clusters Confluent Apache Kafka.
À la fin de cette formation, les participants seront capables de :
- Comprendre les composants et l'architecture de Confluent Kafka.
- Déployer et gérer des Kafka brokers, des quorums Zookeeper et des services clés.
- Configurer des fonctionnalités avancées y compris la sécurité, la réplication et l'optimisation des performances.
- Utiliser des outils de gestion pour surveiller et maintenir les clusters Kafka.
Format du cours permettant d'évaluer les participants
- Cours interactif et discussion.
- Multitude d'exercices et de pratiques.
- Mise en œuvre pratique dans un environnement de laboratoire live.
Options de Personnalisation du Cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour faire des arrangements.
Unified Batch and Stream Processing with Apache Beam
14 HeuresApache Beam est un modèle de programmation unifié et open source permettant de définir et d'exécuter des pipelines de traitement de données parallèles. Sa puissance réside dans sa capacité à exécuter des pipelines en batch et en streaming, l'exécution étant réalisée par l'un des back-ends de traitement distribué pris en charge par Beam : Apache Apex, Apache Flink, Apache Spark et Go ogle Cloud Dataflow. Beam Apache Beam est utile pour les tâches ETL (Extract, Transform, and Load) telles que le déplacement de données entre différents supports de stockage et sources de données, la transformation de données dans un format plus souhaitable, et le chargement de données sur un nouveau système.
Au cours de cette formation en direct (sur site ou à distance), les participants apprendront à mettre en œuvre les SDK Apache Beam dans une application Java ou Python qui définit un pipeline de traitement des données permettant de décomposer un ensemble de données volumineuses en morceaux plus petits pour un traitement indépendant et parallèle.
À la fin de cette formation, les participants seront capables de :
- Installer et configurer Apache Beam.
- Utiliser un modèle de programmation unique pour effectuer des traitements par lots et par flux à partir de leur application Java ou Python.
- Exécuter des pipelines dans plusieurs environnements.
Format du cours permettant d'évaluer les participants
- En partie cours magistral, en partie discussion, exercices et pratique intensive.
Remarque
- Ce cours sera disponible Scala dans le futur. Veuillez nous contacter pour convenir d'un rendez-vous.
Confluent Apache Kafka: Cluster Operations and Configuration
16 HeuresConfluent Apache Kafka est une plateforme de streaming d'événements distribuée et d'entreprise construite sur Apache Kafka. Elle prend en charge des canaux de données haute performance tolérant les pannes et des applications de streaming en temps réel.
Cette formation en direct (en ligne ou sur place) est destinée aux ingénieurs et administrateurs de niveau intermédiaire qui souhaitent déployer, configurer et optimiser des clusters Confluent Kafka dans des environnements de production.
À la fin de cette formation, les participants seront en mesure de :
- Installer, configurer et exploiter des clusters Confluent Kafka avec plusieurs brokers.
- Définir des configurations haute disponibilité à l'aide de Zookeeper et de techniques de réplication.
- Ajuster les performances, surveiller les métriques et appliquer des stratégies de récupération.
- Sécuriser, échelonner et intégrer Kafka dans des environnements d'entreprise.
Format du cours permettant d'évaluer les participants
- Cours interactif et discussion.
- Nombreux exercices et pratique.
- Mise en œuvre pratique dans un environnement de laboratoire vivant.
Options de personnalisation du cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser.
Building Kafka Solutions with Confluent
14 HeuresCette formation en direct, animée par un instructeur (sur site ou à distance), est destinée aux ingénieurs souhaitant utiliser Confluent (une distribution de Kafka) pour créer et gérer une plate-forme de traitement de données en temps réel pour leurs applications.
À la fin de cette formation, les participants seront en mesure de:
- Installer et configurer le Confluent Platform.
- Utiliser les outils et services de gestion de Confluent pour exécuter Kafka plus facilement.
- Stockez et traitez les données de flux entrantes.
- Optimisez et gérez des clusters Kafka.
- Sécurisez les flux de données.
Format du cours permettant d'évaluer les participants
- Cours interactif et discussion.
- Beaucoup d'exercices et de pratique.
- Mise en œuvre pratique dans un environnement de laboratoire en direct.
Options de personnalisation du cours
- Ce cours est basé sur la version open source de Confluent : Confluent Open Source.
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour en faire la demande.
Apache Flink Fundamentals
28 HeuresCette formation en direct à France (en ligne ou sur site) présente les principes et les approches du traitement distribué des données en flux et par lots, et accompagne les participants dans la création d'une application de flux de données en temps réel dans Apache Flink.
A la fin de cette formation, les participants seront capables de :
- Mettre en place un environnement pour développer des applications d'analyse de données.
- Comprendre le fonctionnement de la bibliothèque de traitement de graphes de Apache Flink (Gelly).
- Mettre en place, exécuter et surveiller des applications de streaming de données basées sur Flink et tolérantes aux pannes.
- Gérer diverses charges de travail.
- Effectuer des analyses avancées.
- Mettre en place un cluster Flink à plusieurs nœuds.
- Mesurer et optimiser les performances.
- Intégrer Flink à différents systèmes Big Data.
- Comparer les capacités de Flink avec celles d'autres frameworks de traitement des big data.
A Practical Introduction to Stream Processing
21 HeuresDans cette formation dirigée par un instructeur en <loc> ; (sur site ou à distance), les participants apprendront comment configurer et intégrer différents Stream Processing frameworks avec des systèmes de stockage de big data existants et des applications logicielles et microservices connexes.
A l'issue de cette formation, les participants seront capables de :
- Installer et configurer différents Stream Processing frameworks, tels que Spark Streaming et Kafka Streaming.
- Comprendre et sélectionner le framework le plus approprié pour le travail à effectuer.
- Traiter des données en continu, de manière concurrente et enregistrement par enregistrement.
- Intégrer les solutions Stream Processing aux bases de données existantes, aux entrepôts de données, aux lacs de données, etc.
- Intégrer la bibliothèque de traitement de flux la plus appropriée avec les applications d'entreprise et les microservices.
Distributed Messaging with Apache Kafka
14 HeuresCe cours s'adresse aux architectes d'entreprise, aux développeurs, aux administrateurs système et à tous ceux qui souhaitent comprendre et utiliser un système de messagerie distribuée à haut débit. Si vous avez des exigences plus spécifiques (par exemple, uniquement du côté de l'administration système), ce cours peut être adapté pour mieux répondre à vos besoins.
Stream Processing with Kafka Streams
7 HeuresKafka Streams est une bibliothèque côté client permettant de créer des applications et des microservices dont les données sont transmises depuis et vers un système de messagerie Kafka. Apache Kafka s’appuyait traditionnellement sur Apache Spark ou Apache Storm pour traiter les données entre les producteurs de messages et les consommateurs. En appelant l'API Kafka Streams depuis une application, les données peuvent être traitées directement dans Kafka, ce qui évite d'avoir à les envoyer à un cluster distinct.
Au cours de cette formation en direct animée par un instructeur, les participants apprendront comment intégrer Kafka Streams à un ensemble d’exemples d’applications Java qui transmettent des données depuis et vers Apache Kafka pour le traitement de flux.
À la fin de cette formation, les participants seront en mesure de:
- Comprendre les fonctionnalités et les avantages de Kafka Streams par rapport à d'autres frameworks de traitement de flux
- Traiter des données de flux directement au sein d'un cluster Kafka
- Rédiger une application ou un microservice Java ou Scala qui s'intègre avec Kafka et Kafka Streams
- Rédiger un code concis qui transforme des sujets d'entrée Kafka en sujets de sortie Kafka
- Construire, empaqueter et déployer l’application
Public
- Développeurs
Format du cours permettant d'évaluer les participants
- Mixte de cours magistral, discussions, exercices et pratique intensive
Remarques
- Pour demander une formation sur mesure pour ce cours, veuillez nous contacter pour en faire la demande.
Confluent KSQL
7 HeuresCette formation en direct dans France (en ligne ou sur site) est destinée aux développeurs qui souhaitent mettre en œuvre le traitement de flux Apache Kafka sans écrire de code.
A l'issue de cette formation, les participants seront capables de :
- Installer et configurer Confluent KSQL.
- Mettre en place un pipeline de traitement de flux en utilisant uniquement des commandes SQL (pas de codage Java ou Python).
- Effectuer le filtrage des données, les transformations, les agrégations, les jointures, le fenêtrage et la sessionnalisation entièrement en SQL.
- Concevoir et déployer des requêtes interactives et continues pour l'ETL en continu et l'analyse en temps réel.
Apache NiFi for Administrators
21 HeuresAu cours de cette formation en direct, dirigée par un instructeur, à France (sur place ou à distance), les participants apprendront à déployer et à gérer Apache NiFi dans un environnement de laboratoire réel.
A la fin de cette formation, les participants seront capables de :
- Installer et configurer Apachi NiFi.
- Rechercher, transformer et gérer des données à partir de sources de données disparates et distribuées, y compris les bases de données et les lacs de données.
- Automatiser les flux de données.
- Permettre l'analyse en continu.
- Appliquer différentes approches pour l'ingestion de données.
- Transformer les données Big Data en informations commerciales.
Apache NiFi for Developers
7 HeuresAu cours de cette formation en direct et dirigée par un instructeur dans France, les participants apprendront les principes fondamentaux de la programmation par flux en développant un certain nombre d'extensions, de composants et de processeurs de démonstration à l'aide de Apache NiFi.
A la fin de cette formation, les participants seront capables de :
- Comprendre l'architecture de NiFi et les concepts de flux de données.
- Développer des extensions en utilisant NiFi et des APIs tierces.
- Développer leur propre processeur Apache Nifi.
- Ingérer et traiter des données en temps réel à partir de formats de fichiers et de sources de données disparates et peu communs.
Spark Streaming with Python and Kafka
7 HeuresCette formation en direct avec instructeur dans France (en ligne ou sur site) est destinée aux ingénieurs de données, aux scientifiques de données et aux programmeurs qui souhaitent utiliser les fonctionnalités de Spark Streaming dans le traitement et l'analyse de données en temps réel.
À la fin de cette formation, les participants seront en mesure d'utiliser Spark Streaming pour traiter des flux de données en temps réel et les utiliser dans des bases de données, des systèmes de fichiers et des tableaux de bord en temps réel.