Formation Building Data Pipelines with Apache Kafka

Ce cours s'adresse aux architectes d'entreprise, aux développeurs, aux administrateurs système et à tous ceux qui souhaitent comprendre et utiliser un système de messagerie distribuée à haut débit. Si vous avez des exigences plus spécifiques (par exemple, uniquement du côté de l'administration système), ce cours peut être adapté pour mieux répondre à vos besoins.

Apache Samza est un framework de calcul asynchrone open source quasi-temps réel pour le traitement de flux. Il utilise Apache Kafka pour la messagerie et Apache Hadoop YARN pour la tolérance aux pannes, l'isolation du processeur, la sécurité et la gestion des ressources.

Cette formation en direct, animée par un instructeur, présente les principes sous-jacents aux systèmes de messagerie et au traitement de flux distribué, tout en guidant les participants dans la création d'un exemple de projet et d'exécution de travaux basé sur Samza.

À la fin de cette formation, les participants seront en mesure de:

• Utilisez Samza pour simplifier le code nécessaire à la production et à la consommation de messages.
• Découpler le traitement des messages d'une application.
• Utilisez Samza pour implémenter un calcul asynchrone en temps quasi réel.
• Utilisez le traitement de flux pour fournir un niveau d'abstraction plus élevé sur les systèmes de messagerie.

Public

• Développeurs

Format du cours

• Partie de conférence, partie de discussion, exercices et exercices intensifs

Kafka Streams est une bibliothèque côté client permettant de créer des applications et des microservices dont les données sont transmises depuis et vers un système de messagerie Kafka. Apache Kafka s’appuyait traditionnellement sur Apache Spark ou Apache Storm pour traiter les données entre les producteurs de messages et les consommateurs. En appelant l'API Kafka Streams depuis une application, les données peuvent être traitées directement dans Kafka, ce qui évite d'avoir à les envoyer à un cluster distinct.

Au cours de cette formation en direct animée par un instructeur, les participants apprendront comment intégrer Kafka Streams à un ensemble d’exemples d’applications Java qui transmettent des données depuis et vers Apache Kafka pour le traitement de flux.

À la fin de cette formation, les participants seront en mesure de:

• Comprendre les fonctionnalités et les avantages de Kafka Streams par rapport aux autres infrastructures de traitement de flux
• Traiter les données de flux directement dans un cluster Kafka
• Écrire une application ou un microservice Java ou Scala intégrant Kafka et Kafka Streams
• Écrivez un code concis qui transforme les sujets d’entrée de Kafka en sujets de sortie de Kafka
• Construire, empaqueter et déployer l'application

Public

• Développeurs

Format du cours

• Partie de conférence, partie de discussion, exercices et exercices intensifs

Remarques

• Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser

Dans cette formation dirigée par un instructeur en <loc> ; (sur site ou à distance), les participants apprendront comment configurer et intégrer différents Stream Processing frameworks avec des systèmes de stockage de big data existants et des applications logicielles et microservices connexes.

A l'issue de cette formation, les participants seront capables de :

• Installer et configurer différents Stream Processing frameworks, tels que Spark Streaming et Kafka Streaming.
• Comprendre et sélectionner le framework le plus approprié pour le travail à effectuer.
• Traiter des données en continu, de manière concurrente et enregistrement par enregistrement.
• Intégrer les solutions Stream Processing aux bases de données existantes, aux entrepôts de données, aux lacs de données, etc.
• Intégrer la bibliothèque de traitement de flux la plus appropriée avec les applications d'entreprise et les microservices.

Cette formation en direct, animée par un instructeur (sur site ou à distance), est destinée aux ingénieurs souhaitant utiliser Confluent (une distribution de Kafka) pour créer et gérer une plate-forme de traitement de données en temps réel pour leurs applications.

À la fin de cette formation, les participants seront en mesure de:

• Installez et configurez Confluent Platform.
• Utilisez les outils et les services de gestion de Confluent pour exécuter Kafka plus facilement.
• Stocker et traiter les données de flux entrants.
• Optimiser et gérer les clusters Kafka.
• Flux de données sécurisés.

Format du cours

• Conférence interactive et discussion.
• Beaucoup d'exercices et de pratique.
• Mise en œuvre pratique dans un environnement de laboratoire réel.

Options de personnalisation du cours

• Ce cours est basé sur la version open source de Confluent: Confluent Open Source.
• Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser cela.

Cette formation en direct avec instructeur en <loc> ; (en ligne ou sur site) s'adresse aux développeurs qui souhaitent transformer une architecture traditionnelle en une architecture basée sur des microservices hautement concurrents en utilisant Spring Cloud, Kafka, Docker, Kubernetes et Redis.

A l'issue de cette formation, les participants seront capables de :

• Mettre en place l'environnement de développement nécessaire à la construction de microservices.
• Concevoir et mettre en œuvre un écosystème de microservices hautement concurrents en utilisant Spring Cloud, Kafka, Redis, Docker et Kubernetes.
• Transformer les services monolithiques et SOA en architecture basée sur les microservices.
• Adopter une approche DevOps pour développer, tester et publier des logiciels.
• Assurer une concurrence élevée entre les microservices en production.
• Surveiller les microservices et mettre en œuvre des stratégies de récupération.
• Effectuer des réglages de performance.
• Apprendre les tendances futures en matière d'architecture de microservices.

Cette formation en direct (en ligne ou sur site) s'adresse aux développeurs qui souhaitent intégrer Apache Kafka aux bases de données et applications existantes à des fins de traitement, d'analyse, etc.

A l'issue de cette formation, les participants seront capables de :

• Utiliser Kafka Connect pour ingérer de grandes quantités de données d'une base de données dans des sujets Kafka.
• Ingérer les données de logs générées par un serveur d'application dans les sujets Kafka.
• Mettre à disposition toutes les données collectées pour le traitement en flux.
• Exporter les données des sujets Kafka vers des systèmes secondaires pour le stockage et l'analyse.

Cette formation en direct avec instructeur (en ligne ou sur site) s'adresse aux développeurs qui souhaitent mettre en œuvre le traitement des flux Apache Kafka sans écrire de code.

A l'issue de cette formation, les participants seront capables de :

• Installer et configurer Confluent KSQL.
• Mettre en place un pipeline de traitement de flux en utilisant uniquement des commandes SQL (pas de codage Java ou Python).
• Exécuter le filtrage des données, les transformations, les agrégations, les jointures, le fenêtrage et la sessionnalisation entièrement en SQL.

Cette formation en direct avec instructeur (en ligne ou sur site) s'adresse aux administrateurs système qui souhaitent mettre en place, déployer, gérer et optimiser un cluster Kafka de niveau entreprise.

A l'issue de cette formation, les participants seront capables de :

• Mettre en place et administrer un cluster Kafka.
• Évaluer les avantages et les inconvénients du déploiement de Kafka sur site et dans le cloud.
• Déployer et surveiller Kafka à l'aide de divers outils d'environnement sur site et dans le nuage.

Cette formation en direct avec instructeur en <loc> ; (en ligne ou sur site) est destinée aux testeurs de logiciels qui souhaitent mettre en œuvre des mesures de sécurité réseau dans une application Apache Kafka.

A l'issue de cette formation, les participants seront capables de :

• Déployer Apache Kafka sur un serveur en nuage.
• Mettre en place le cryptage SSL pour prévenir les attaques.
• Ajouter l'authentification ACL pour suivre et contrôler l'accès des utilisateurs.
• S'assurer que les clients crédibles ont accès aux clusters Kafka avec SSL et l'authentification SASL.

Cette formation en direct avec instructeur (en ligne ou sur site) s'adresse aux data scientists qui souhaitent utiliser la pile SMACK pour construire des plateformes de traitement de données pour des solutions big data.

A l'issue de cette formation, les participants seront capables de :

• Mettre en place une architecture de pipeline de données pour le traitement des big data.
• Développer une infrastructure de cluster avec Apache Mesos et Docker.
• Analyser les données avec Spark et Scala.
• Gérer les données non structurées avec Apache Cassandra.

Cette formation en direct avec instructeur (en ligne ou sur site) s'adresse aux ingénieurs de données, aux scientifiques des données et aux programmeurs qui souhaitent utiliser les fonctionnalités d'Apache Kafka dans le cadre de la diffusion de données en continu Python.

À l'issue de cette formation, les participants seront en mesure d'utiliser Apache Kafka pour surveiller et gérer les conditions des flux de données continus en utilisant la programmation Python.

Cette formation en <loc> ; (en ligne ou sur site) est destinée aux ingénieurs de données, aux scientifiques de données et aux programmeurs qui souhaitent utiliser les fonctionnalités Spark Streaming dans le traitement et l'analyse de données en temps réel.

À l'issue de cette formation, les participants seront en mesure d'utiliser Spark Streaming pour traiter des flux de données en direct destinés à être utilisés dans des bases de données, des systèmes de fichiers et des tableaux de bord en direct.

Cette formation en direct avec instructeur (en ligne ou sur site) s'adresse aux développeurs de niveau intermédiaire qui souhaitent développer des applications big data avec Apache Kafka.

A l'issue de cette formation, les participants seront capables de :

Développer des producteurs et des consommateurs Kafka pour envoyer et lire des données à partir de Kafka. Intégrer Kafka avec des systèmes externes en utilisant Kafka Connect. Ecrire des applications de streaming avec Kafka Streams & ; ksqlDB. Intégrer une application client Kafka avec Confluent Cloud pour des déploiements Kafka basés sur le cloud. Acquérir une expérience pratique grâce à des exercices et des cas d'utilisation réels.

Cette formation en direct avec instructeur en <loc> ; (en ligne ou sur site) est destinée aux développeurs de niveau intermédiaire qui souhaitent apprendre les principes fondamentaux de Kafka et l'intégrer à Spring Boot.

A l'issue de cette formation, les participants seront capables de :

Comprendre Kafka et son architecture. Apprendre à installer, configurer et mettre en place un environnement Kafka de base. Intégrer Kafka avec Spring Boot.