Plan du cours
Introduction
Scala Examen de la programmation en profondeur
- Syntaxe et structure
- Contrôle de flux et fonctions
Internes de Spark
- Ensembles de données distribuées résilientes (RDD)
- Spark script to graph to cluster
Vue d'ensemble Spark Streaming
- Architecture de la diffusion en continu
- Intervalles dans la diffusion en continu
- Tolérance aux pannes
Préparation de l'environnement de développement
- Installation et configuration d'Apache Spark
- Installation et configuration de l'IDE Scala
- Installation et configuration du JDK
Spark Streaming Débutant à avancé
- Travailler avec des RDD clé/valeur
- Filtrer les RDD
- Améliorer les scripts Spark avec des expressions régulières
- Partager des données sur un cluster
- Travailler avec des ensembles de données en réseau
- Implémentation d'algorithmes BFS
- Créer des scripts de pilote Spark
- Suivi en temps réel avec des scripts
- Ecrire des applications continues
- Régression linéaire en continu
- Utilisation de la bibliothèque Spark Machine Learning
Spark et les clusters
- Regrouper les dépendances et les scripts Spark à l'aide de l'outil SBT
- Utiliser EMR pour illustrer les clusters
- Optimiser en partitionnant les RDD
- Utiliser les logs Spark
Intégration dans Spark Streaming
- Intégration d'Apache Kafka et travail avec les sujets Kafka
- Intégrer Apache Fume et travailler avec des configurations Flume basées sur le pull et le push
- Écrire une classe de récepteur personnalisée
- Intégrer Cassandra et exposer les données en tant que services en temps réel
En production
- Emballer une application et l'exécuter avec Spark-Submit
- Dépannage, réglage et débogage des jobs et clusters Spark
Résumé et conclusion
Pré requis
- Programming et de l'expérience en matière de scripts
Audience
- Ingénieurs en logiciels
Nos Clients témoignent (5)
I liked that it was practical. Loved to apply the theoretical knowledge with practical examples.
Aurelia-Adriana - Allianz Services Romania
Formation - Python and Spark for Big Data (PySpark)
Beaucoup d'exemples pratiques, différentes façons d'aborder le même problème, et parfois des astuces pas si évidentes pour améliorer la solution actuelle.
Rafał - Nordea
Formation - Apache Spark MLlib
Traduction automatique
This is one of the best hands-on with exercises programming courses I have ever taken.
Laura Kahn
Formation - Artificial Intelligence - the most applied stuff - Data Analysis + Distributed AI + NLP
Sufficient hands on, trainer is knowledgable
Chris Tan
Formation - A Practical Introduction to Stream Processing
The VM I liked very much The Teacher was very knowledgeable regarding the topic as well as other topics, he was very nice and friendly I liked the facility in Dubai.