Formation Une Introduction Pratique au Traitement de Flux
Le traitement de flux fait référence au traitement en temps réel des « données en mouvement », c'est-à-dire l'exécution de calculs sur les données dès qu'elles sont reçues. Ces données sont lues sous forme de flux continus provenant de sources telles que les événements capteurs, l'activité des utilisateurs sur un site web, les transactions financières, les passages de carte de crédit, les flux de clics, etc. Les frameworks de traitement de flux peuvent lire d'importants volumes de données entrantes et fournir des informations précieuses presque instantanément.
Dans cette formation dirigée par un instructeur (sur site ou à distance), les participants apprendront comment configurer et intégrer différents frameworks de traitement de flux avec des systèmes de stockage de données existants ainsi que d'autres applications logicielles et microservices.
À la fin de cette formation, les participants seront capables de :
- Installer et configurer différents frameworks de traitement de flux, tels que Spark Streaming et Kafka Streaming.
- Comprendre et sélectionner le framework le plus approprié pour la tâche à accomplir.
- Traiter les données de manière continue, simultanée et enregistrement par enregistrement.
- Intégrer des solutions de traitement de flux avec des bases de données existantes, des data warehouses, des lacs de données, etc.
- Intégrer la bibliothèque de traitement de flux la plus appropriée avec les applications et microservices d'entreprise.
Public cible
- Développeurs
- Architectes logiciels
Format de la formation
- Partie exposé, partie discussion, exercices et pratique intensive
Plan du cours
Introduction
- Traitement de flux vs traitement par lots
- Traitement de flux axé sur l'analyse
Aperçu des Frameworks et des Langages de Programmation
- Spark Streaming (Scala)
- Kafka Streaming (Java)
- Flink
- Storm
- Comparaison des fonctionnalités et des forces de chaque framework
Aperçu des Sources de Données
- Données en temps réel sous forme d'une série d'événements au fil du temps
- Sources de données historiques
Options de Déploiement
- Dans le cloud (AWS, etc.)
- Sur site (cloud privé, etc.)
Démarrage
- Configuration de l'environnement de développement
- Installation et configuration
- Évaluation des besoins en analyse de données
Opération d'un Framework de Traitement de Flux
- Intégration du framework de traitement de flux avec les outils Big Data
- Traitement des flux d'événements (ESP) vs Traitement d'Événements Complexes (CEP)
- Transformation des données d'entrée
- Inspection des données de sortie
- Intégration du framework de traitement de flux avec les applications et microservices existants
Dépannage
Synthèse et Conclusion
Pré requis
- Expérience en programmation dans n'importe quel langage
- Compréhension des concepts de Big Data (Hadoop, etc.)
Les formations ouvertes requièrent plus de 3 participants.
Formation Une Introduction Pratique au Traitement de Flux - Réservation
Formation Une Introduction Pratique au Traitement de Flux - Demande de renseignements
NobleProg propose des formations professionnelles conçues spécifiquement pour les entreprises et les organisations. Ces formations ne sont pas destinées aux particuliers.
Une Introduction Pratique au Traitement de Flux - Demande d'informations consulting
Nos clients témoignent (1)
Pratique suffisante, le formateur est compétent
Chris Tan
Formation - A Practical Introduction to Stream Processing
Traduction automatique
Cours à venir
Cours Similaires
Apache Kafka Connect
7 HeuresCe cours de formation dirigé par un instructeur en France (en ligne ou sur site) est destiné aux développeurs souhaitant intégrer Apache Kafka avec des bases de données et des applications existantes pour le traitement, l'analyse, etc.
À la fin de cette formation, les participants seront en mesure de :
- Utiliser Kafka Connect pour ingérer de grandes quantités de données d'une base de données dans des sujets Kafka.
- Ingestion de données de journaux générées par des serveurs d'applications dans des sujets Kafka.
- Rendre toutes les données collectées disponibles pour le traitement en flux.
- Exporter des données à partir de sujets Kafka vers des systèmes secondaires pour le stockage et l'analyse.
Construction de solutions Kafka avec Confluent
14 HeuresCette formation dirigée par un instructeur, en direct (en ligne ou sur site), est destinée aux ingénieurs qui souhaitent utiliser Confluent (une distribution de Kafka) pour construire et gérer une plateforme de traitement de données en temps réel pour leurs applications.
À la fin de cette formation, les participants seront capables de :
- Installer et configurer la Plateforme Confluent.
- Utiliser les outils et services de gestion de Confluent pour faire fonctionner Kafka plus facilement.
- Stockage et traitement des données en flux entrant.
- Optimiser et gérer des clusters Kafka.
- Sécuriser les flux de données.
Format du cours permettant d'évaluer les participants
- Cours interactif avec présentation et discussion.
- Nombreux exercices et pratiques.
- Mise en œuvre pratique dans un environnement de laboratoire en direct.
Options de personnalisation du cours
- Ce cours est basé sur la version open source de Confluent : Confluent Open Source.
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser.
Construction de pipelines de données avec Apache Kafka
7 HeuresApache Kafka est une plateforme de streaming distribuée. C'est de facto un standard pour la construction de pipelines de données et elle résout de nombreux cas d'utilisation autour du traitement des données : elle peut être utilisée comme file d'attente de messages, journal distribué, processeur de flux, etc.
Nous commencerons par quelques notions théoriques sur les pipelines de données en général, puis nous aborderons les concepts fondamentaux derrière Kafka. Nous découvrirons également des composants importants comme Kafka Streams et Kafka Connect.
Distributed Messaging with Apache Kafka
14 HeuresCe cours est destiné aux architectes d'entreprise, développeurs, administrateurs système et à toute personne souhaitant comprendre et utiliser un système de messagerie distribué à haut débit. Si vous avez des exigences plus spécifiques (par exemple, uniquement la partie administration système), ce cours peut être adapté pour mieux répondre à vos besoins.
Kafka pour les administrateurs
21 HeuresCette formation dirigée par un instructeur en France (en ligne ou sur site) s'adresse aux administrateurs système et ingénieurs d'exploitation de niveau débutant, intermédiaire ou avancé qui souhaitent utiliser Apache Kafka pour déployer, sécuriser, surveiller et dépanner des clusters Kafka.
À la fin de cette formation, les participants seront capables d'expliquer l'architecture de Kafka et le mode KRaft, de gérer et sécuriser des clusters Kafka, de surveiller les performances et la fiabilité, et de résoudre les problèmes courants en production.
Apache Kafka pour les Développeurs
21 HeuresCette formation dirigée par un instructeur et en direct à France (en ligne ou sur site) est destinée aux développeurs de niveau intermédiaire qui souhaitent développer des applications de big data avec Apache Kafka.
À la fin de cette formation, les participants seront capables de :
- Développer des producteurs et consommateurs Kafka pour envoyer et lire des données depuis Kafka.
- Intégrer Kafka avec des systèmes externes en utilisant Kafka Connect.
- Écrire des applications de streaming avec Kafka Streams & ksqlDB.
- Intégrer une application cliente Kafka avec Confluent Cloud pour des déploiements Kafka basés sur le cloud.
- Acquérir une expérience pratique grâce à des exercices pratiques et des cas d'usage réels.
Apache Kafka pour les programmeurs Python
7 HeuresCette formation en direct avec instructeur dans France (en ligne ou sur site) est destinée aux ingénieurs de données, aux scientifiques de données et aux programmeurs qui souhaitent utiliser les fonctionnalités Apache Kafka dans les flux de données avec Python.
À la fin de cette formation, les participants seront en mesure d'utiliser Apache Kafka pour surveiller et gérer les conditions dans les flux de données continus en utilisant la programmation Python.
Sécurité pour Apache Kafka
7 HeuresCette formation dirigée par un formateur (en ligne ou sur site) est destinée aux testeurs logiciels qui souhaitent mettre en place des mesures de sécurité réseau dans une application Apache Kafka.
À la fin de cette formation, les participants seront capables de :
- Déployer Apache Kafka sur un serveur basé dans le cloud.
- Mettre en œuvre le chiffrement SSL pour prévenir les attaques.
- Ajouter l'authentification ACL pour suivre et contrôler l'accès des utilisateurs.
- Assurer que les clients fiables aient accès aux clusters Kafka avec l'authentification SSL et SASL.
Apache Kafka et Spring Boot
7 HeuresCette formation en direct avec instructeur en <loc> ; (en ligne ou sur site) est destinée aux développeurs de niveau intermédiaire qui souhaitent apprendre les principes fondamentaux de Kafka et l'intégrer à Spring Boot.
A l'issue de cette formation, les participants seront capables de :
- Comprendre Kafka et son architecture.
- Apprendre à installer, configurer et mettre en place un environnement Kafka de base.
- Intégrer Kafka à Spring Boot.
Stream Processing avec Kafka Streams
7 HeuresKafka Streams est une bibliothèque côté client pour construire des applications et des microservices dont les données sont transmises à et depuis un système de messagerie Kafka. Traditionnellement, Apache Kafka a fait appel à Apache Spark ou Apache Storm pour traiter les données entre les producteurs et consommateurs de messages. En appelant l'API Kafka Streams au sein d'une application, les données peuvent être traitées directement dans Kafka, évitant ainsi la nécessité de transmettre les données vers un cluster séparé pour le traitement.
Dans cette formation dirigée par un instructeur et en direct, les participants apprendront à intégrer Kafka Streams dans un ensemble d'applications Java de démonstration qui transmettent des données à et depuis Apache Kafka pour le traitement de flux.
À la fin de cette formation, les participants seront capables de :
- Comprendre les fonctionnalités et les avantages de Kafka Streams par rapport aux autres frameworks de traitement de flux
- Traiter des données de flux directement au sein d'un cluster Kafka
- Écrire une application ou un microservice Java ou Scala qui s'intègre avec Kafka et Kafka Streams
- Rédiger un code concis qui transforme les sujets d'entrée Kafka en sujets de sortie Kafka
- Générer, empaqueter et déployer l'application
Public cible
- Développeurs
Format du cours permettant d'évaluer les participants
- Partie présentation, partie discussion, exercices et pratique intensive
Notes
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser
Administration of Kafka Topic
14 HeuresCette formation en direct avec instructeur à France (en ligne ou sur site) s'adresse aux administrateurs système de niveau débutant à intermédiaire qui souhaitent apprendre à gérer efficacement les sujets Kafka pour une diffusion et un traitement efficaces des données.
A l'issue de cette formation, les participants seront capables de :
- Comprendre les principes fondamentaux et l'architecture des sujets Kafka.
- Créer, configurer et gérer les sujets Kafka.
- Contrôler l'état, les performances et la disponibilité des sujets Kafka.
- Mettre en œuvre des mesures de sécurité pour les sujets Kafka.
SMACK Stack pour la Science des Données
14 HeuresCette formation en présentiel dirigée par un instructeur à France (en ligne ou sur site) est destinée aux scientifiques des données qui souhaitent utiliser la pile SMACK pour construire des plateformes de traitement de données pour des solutions de big data.
À la fin de cette formation, les participants seront capables de :
- Mettre en œuvre une architecture de pipeline de données pour le traitement du big data.
- Développer une infrastructure de cluster avec Apache Mesos et Docker.
- Analyser les données avec Spark et Scala.
- Gérer les données non structurées avec Apache Cassandra.
Python et Spark pour les Grandes Données (PySpark)
21 HeuresAu cours de cette formation en direct avec instructeur à France, les participants apprendront à utiliser Python et Spark ensemble pour analyser les données volumineuses (big data) en travaillant sur des exercices pratiques.
A la fin de cette formation, les participants seront capables de :
- Apprendre à utiliser Spark avec Python pour analyser Big Data.
- Travailler sur des exercices qui imitent des cas réels.
- Utiliser différents outils et techniques pour l'analyse des big data en utilisant PySpark.
Microservices avec Spring Cloud et Kafka
21 HeuresCette formation en direct avec instructeur en <loc> ; (en ligne ou sur site) s'adresse aux développeurs qui souhaitent transformer une architecture traditionnelle en une architecture basée sur des microservices hautement concurrents en utilisant Spring Cloud, Kafka, Docker, Kubernetes et Redis.
A l'issue de cette formation, les participants seront capables de :
- Mettre en place l'environnement de développement nécessaire à la construction de microservices.
- Concevoir et mettre en œuvre un écosystème de microservices hautement concurrents en utilisant Spring Cloud, Kafka, Redis, Docker et Kubernetes.
- Transformer les services monolithiques et SOA en architecture basée sur les microservices.
- Adopter une approche DevOps pour développer, tester et publier des logiciels.
- Assurer une concurrence élevée entre les microservices en production.
- Surveiller les microservices et mettre en œuvre des stratégies de récupération.
- Effectuer des réglages de performance.
- Apprendre les tendances futures en matière d'architecture de microservices.
Stratio : Modules Rocket et Intelligence avec PySpark
14 HeuresStratio est une plateforme axée sur les données qui intègre le big data, l'IA et la gouvernance dans une seule solution. Ses modules Rocket et Intelligence permettent des explorations de données rapides, des transformations et des analyses avancées dans des environnements d'entreprise.
Cette formation dirigée par un instructeur (en ligne ou sur site) est destinée aux professionnels des données de niveau intermédiaire qui souhaitent utiliser efficacement les modules Rocket et Intelligence de Stratio avec PySpark, en se concentrant sur les structures de boucle, les fonctions définies par l'utilisateur et la logique de données avancée.
À la fin de cette formation, les participants seront capables de :
- Naviguer et travailler dans la plateforme Stratio en utilisant les modules Rocket et Intelligence.
- Appliquer PySpark dans le contexte de l'ingestion, de la transformation et de l'analyse des données.
- Utiliser les boucles et la logique conditionnelle pour contrôler les flux de travail de données et les tâches d'ingénierie des caractéristiques.
- Créer et gérer des fonctions définies par l'utilisateur (UDFs) pour des opérations de données réutilisables en PySpark.
Format du cours permettant d'évaluer les participants
- Cours interactif avec discussion.
- Nombreux exercices et pratiques.
- Mise en œuvre pratique dans un environnement de laboratoire en direct.
Options de personnalisation du cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser.