Plan du cours

Introduction

Vue d'ensemble des caractéristiques et de l'architecture de Spark Streaming.

  • Sources de données prises en charge
  • API de base

Préparation de l'environnement

  • Dépendances
  • Spark et le contexte du streaming
  • Connexion à Kafka

Traitement des messages

  • Analyse des messages entrants en JSON
  • Processus ETL
  • Démarrage du contexte de diffusion en continu

Réalisation d'une fenêtre Stream Processing

  • Intervalle entre les diapositives
  • Configuration de la livraison des points de contrôle
  • Lancement de l'environnement

Prototypage du code de traitement

  • Se connecter à un sujet Kafka
  • Récupération de JSON à partir d'une source de données à l'aide de Paw
  • Variantes et traitements supplémentaires

Diffusion en continu du code

  • Variables de contrôle des travaux
  • Définition des valeurs à faire correspondre
  • Fonctions et conditions

Acquisition de flux de sortie

  • Compteurs
  • Sortie Kafka (appariée et non appariée)

Dépannage

Résumé et conclusion

Pré requis

  • Expérience avec Python et Apache Kafka
  • Familiarité avec les plateformes de traitement de flux

Public

  • Ingénieurs de données
  • Data scientists
  • Programmeurs
  7 heures
 

Nombre de participants


Début

Fin


Dates are subject to availability and take place between 09:30 and 16:30.

Prix par participant

Nos Clients témoignent (4)

Cours Similaires

Catégories Similaires