Formation Python, Spark, and Hadoop for Big Data
Spark Python est un langage de programmation évolutif, flexible et largement utilisé pour la science des données et l'apprentissage automatique. Spark est un moteur de traitement de données utilisé pour l'interrogation, l'analyse et la transformation des big data, tandis que Hadoop est une bibliothèque logicielle pour le stockage et le traitement de données à grande échelle.
Cette formation en direct (en ligne ou sur site) est destinée aux développeurs qui souhaitent utiliser et intégrer Spark, Hadoop et Python pour traiter, analyser et transformer des ensembles de données complexes et de grande taille.
A l'issue de cette formation, les participants seront capables de :
- Mettre en place l'environnement nécessaire pour commencer à traiter les big data avec Spark, Hadoop et Python.
- Comprendre les fonctionnalités, les composants de base et l'architecture de Spark et Hadoop.
- Apprendre à intégrer Spark, Hadoop et Python pour le traitement des big data.
- Explorer les outils de l'écosystème Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka et Flume).
- Construire des systèmes de recommandation par filtrage collaboratif similaires à Netflix, YouTube, Amazon, Spotify et Google.
- Utiliser Apache Mahout pour mettre à l'échelle des algorithmes d'apprentissage automatique.
Format du cours permettant d'évaluer les participants
- Exposé et discussion interactifs.
- Beaucoup d'exercices et de pratique.
- Mise en œuvre pratique dans un environnement live-lab.
Options de personnalisation du cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter.
Plan du cours
Introduction
- Vue d'ensemble de Spark et Hadoop caractéristiques et architecture
- Comprendre le big data
- Python bases de la programmation
Pour commencer
- Configurer Python, Spark et Hadoop
- Comprendre les structures de données dans Python
- Comprendre l'API PySpark
- Comprendre HDFS et MapReduce
Intégrer Spark et Hadoop à Python
- Implémenter Spark RDD dans Python
- Traiter les données à l'aide de MapReduce
- Créer des ensembles de données distribués dans HDFS
Spark et Spark MLlib Machine Learning avec Spark MLlib
Traiter Big Data avec Spark Streaming
Travailler avec des systèmes de recommandation
Travailler avec Kafka, Sqoop, Kafka et Flume
Apache Mahout avec Spark et Hadoop
Résolution des problèmes
Résumé et prochaines étapes
Pré requis
- Expérience avec Spark et Hadoop
- Python expérience en programmation
Audience
- Scientifiques des données
- Développeurs
Les formations ouvertes requièrent plus de 3 participants.
Formation Python, Spark, and Hadoop for Big Data - Booking
Formation Python, Spark, and Hadoop for Big Data - Enquiry
Python, Spark, and Hadoop for Big Data - Demande d'informations consulting
Demande d'informations consulting
Nos clients témoignent (3)
Le fait que nous ayons pu emporter la plupart des informations/du cours/de la présentation/des exercices réalisés, afin de les réviser et peut-être refaire ce que nous n'avions pas compris la première fois ou améliorer ce que nous avons déjà fait.
Raul Mihail Rat - Accenture Industrial SS
Formation - Python, Spark, and Hadoop for Big Data
Traduction automatique
J'ai aimé qu'il parvienne à poser les bases du sujet et aborder des exercices assez avancés. Il a également fourni des méthodes simples pour rédiger et tester le code.
Ionut Goga - Accenture Industrial SS
Formation - Python, Spark, and Hadoop for Big Data
Traduction automatique
Les exemples en direct
Ahmet Bolat - Accenture Industrial SS
Formation - Python, Spark, and Hadoop for Big Data
Traduction automatique
Cours à venir
Cours Similaires
Artificial Intelligence - the most applied stuff - Data Analysis + Distributed AI + NLP
21 HeuresCe cours s'adresse aux développeurs et aux scientifiques des données qui souhaitent comprendre et mettre en œuvre l'IA dans leurs applications. Une attention particulière est accordée à l'analyse des données, à l'IA distribuée et au traitement du langage naturel.
Big Data Analytics in Health
21 HeuresL'analyse de données volumineuses implique l'examen de grandes quantités d'ensembles de données variés afin de découvrir des corrélations, des modèles cachés et d'autres informations utiles.
L'industrie de la santé dispose de quantités massives de données médicales et cliniques hétérogènes complexes. L'application de l'analyse de données volumineuses sur les données de santé présente un potentiel énorme pour la compréhension de l'amélioration de la prestation des soins de santé. Cependant, l'énormité de ces ensembles de données pose de grands défis pour les analyses et les applications pratiques dans un environnement clinique.
Au cours de cette formation en direct animée par un instructeur (à distance), les participants apprendront à effectuer des analyses de données volumineuses dans le domaine de la santé tout en effectuant une série d'exercices pratiques en laboratoire.
À la fin de cette formation, les participants seront en mesure de:
- Installer et configurer des outils d'analyse de données volumineuses tels que Hadoop MapReduce et Spark
- Comprendre les caractéristiques des données médicales
- Appliquer des techniques Big Data pour traiter des données médicales
- Etudiez les systèmes de données volumineuses et les algorithmes dans le contexte d'applications de santé
Public
- Développeurs
- Data Scientists
Format du cours permettant d'évaluer les participants
- Partie lecture, partie discussion, exercices et exercices intensifs.
Remarque
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser cela.
Introduction to Graph Computing
28 HeuresAu cours de cette formation en direct à France, les participants découvriront les offres technologiques et les approches de mise en œuvre pour le traitement des données graphiques. L'objectif est d'identifier les objets du monde réel, leurs caractéristiques et leurs relations, puis de modéliser ces relations et de les traiter en tant que données à l'aide d'une approche Graph Computing (également connue sous le nom de Graph Analytics). Nous commençons par une vue d'ensemble et nous nous concentrons sur des outils spécifiques à travers une série d'études de cas, d'exercices pratiques et de déploiements en direct.
A la fin de cette formation, les participants seront capables de :
- Comprendre comment les données graphiques sont persistées et parcourues.
- Sélectionner le meilleur framework pour une tâche donnée (des bases de données de graphes aux frameworks de traitement par lots).
- Mettre en œuvre Hadoop, Spark, GraphX et Pregel pour effectuer des calculs de graphes sur de nombreuses machines en parallèle.
- Voir les problèmes de big data du monde réel en termes de graphes, de processus et de traversées.
Hortonworks Data Platform (HDP) for Administrators
21 HeuresCette formation en direct à France (en ligne ou sur site) présente Hortonworks Data Platform (HDP) et accompagne les participants dans le déploiement de la solution Spark + Hadoop.
A l'issue de cette formation, les participants seront capables de :
- Utiliser Hortonworks pour exécuter de manière fiable Hadoop à grande échelle.
- Unifier les capacités de sécurité, de gouvernance et d'exploitation de Hadoop avec les flux de travail analytiques agiles de Spark.
- Utiliser Hortonworks pour étudier, valider, certifier et prendre en charge chacun des composants d'un projet Spark.
- Traiter différents types de données, notamment structurées, non structurées, en mouvement et au repos.
Data Analysis with Hive/HiveQL
7 HeuresCe cours explique comment utiliser le SQL Hive SQL (AKA: Hive HQL, SQL sur Hive , Hive QL) pour les personnes qui extraient des données à partir de Hive
Impala for Business Intelligence
21 HeuresCloudera Impala est un moteur de requête open source de traitement massivement parallèle (MPP) SQL pour les clusters Apache Hadoop.
Cloudera Impala permet aux utilisateurs d'émettre des requêtes à faible latence SQL sur des données stockées dans Hadoop Distributed File System et Apache Hbase sans avoir à déplacer ou à transformer les données.
Public
Ce cours s'adresse aux analystes et aux scientifiques des données qui effectuent des analyses sur des données stockées dans Hadoop via des outils Business Intelligence ou SQL.
À l'issue de cette formation, les participants seront en mesure de
- Extraire des informations significatives des clusters Hadoop avec Impala.
- Écrire des programmes spécifiques pour faciliter Business Intelligence dans Impala SQL Dialecte.
- Dépanner Impala.
A Practical Introduction to Stream Processing
21 HeuresDans cette formation dirigée par un instructeur en <loc> ; (sur site ou à distance), les participants apprendront comment configurer et intégrer différents Stream Processing frameworks avec des systèmes de stockage de big data existants et des applications logicielles et microservices connexes.
A l'issue de cette formation, les participants seront capables de :
- Installer et configurer différents Stream Processing frameworks, tels que Spark Streaming et Kafka Streaming.
- Comprendre et sélectionner le framework le plus approprié pour le travail à effectuer.
- Traiter des données en continu, de manière concurrente et enregistrement par enregistrement.
- Intégrer les solutions Stream Processing aux bases de données existantes, aux entrepôts de données, aux lacs de données, etc.
- Intégrer la bibliothèque de traitement de flux la plus appropriée avec les applications d'entreprise et les microservices.
SMACK Stack for Data Science
14 HeuresCette formation en direct avec instructeur (en ligne ou sur site) s'adresse aux data scientists qui souhaitent utiliser la pile SMACK pour construire des plateformes de traitement de données pour des solutions big data.
A l'issue de cette formation, les participants seront capables de :
- Mettre en place une architecture de pipeline de données pour le traitement des big data.
- Développer une infrastructure de cluster avec Apache Mesos et Docker.
- Analyser les données avec Spark et Scala.
- Gérer les données non structurées avec Apache Cassandra.
Apache Spark in the Cloud
21 HeuresLa courbe d'apprentissage d' Apache Spark augmente lentement au début, il faut beaucoup d'efforts pour obtenir le premier retour. Ce cours vise à passer à travers la première partie difficile. Après avoir suivi ce cours, les participants comprendront les bases d’ Apache Spark , ils différencieront clairement RDD de DataFrame, ils apprendront les API Python et Scala , ils comprendront les exécuteurs et les tâches, etc. En suivant également les meilleures pratiques, ce cours est fortement axé sur déploiement en nuage, Databricks et AWS. Les étudiants comprendront également les différences entre AWS EMR et AWS Glue, l'un des derniers services Spark d'AWS.
PUBLIC:
Ingénieur de données, DevOps , Data Scientist
Spark for Developers
21 HeuresOBJECTIF:
Ce cours présentera Apache Spark . Les étudiants apprendront comment Spark s'intègre dans l'écosystème du Big Data et comment utiliser Spark pour l'analyse de données. Le cours couvre le shell Spark pour l'analyse de données interactive, les composants internes de Spark, les API Spark, Spark SQL , le streaming Spark, ainsi que l'apprentissage automatique et graphX.
PUBLIC :
Développeurs / Analystes de données
Python and Spark for Big Data (PySpark)
21 HeuresAu cours de cette formation en direct avec instructeur à France, les participants apprendront à utiliser Python et Spark ensemble pour analyser les données volumineuses (big data) en travaillant sur des exercices pratiques.
A la fin de cette formation, les participants seront capables de :
- Apprendre à utiliser Spark avec Python pour analyser Big Data.
- Travailler sur des exercices qui imitent des cas réels.
- Utiliser différents outils et techniques pour l'analyse des big data en utilisant PySpark.
Apache Spark SQL
7 Heures Spark SQL est le module Apache Spark permettant de travailler avec des données structurées et non structurées. Spark SQL fournit des informations sur la structure des données ainsi que sur les calculs en cours. Ces informations peuvent être utilisées pour effectuer des optimisations. Les deux utilisations courantes de Spark SQL sont SQL suivantes:
- pour exécuter SQL requêtes SQL .
- lire les données d'une installation Hive existante.
Lors de cette formation en direct animée par un instructeur (sur site ou à distance), les participants apprendront à analyser divers types de jeux de données à l'aide de Spark SQL .
À la fin de cette formation, les participants seront en mesure de:
- Installez et configurez Spark SQL .
- Effectuer une analyse de données à l'aide de Spark SQL .
- Interrogez des ensembles de données dans différents formats.
- Visualisez les données et les résultats de la requête.
Format du cours permettant d'évaluer les participants
- Conférence interactive et discussion.
- Beaucoup d'exercices et de pratique.
- Mise en œuvre pratique dans un environnement de laboratoire réel.
Options de personnalisation du cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser cela.
Apache Spark MLlib
35 HeuresMLlib est la bibliothèque d'apprentissage automatique (ML) de Spark. Son objectif est de rendre l'apprentissage pratique pratique évolutif et facile. Il comprend des algorithmes et des utilitaires d'apprentissage courants, notamment la classification, la régression, la mise en cluster, le filtrage collaboratif, la réduction de la dimensionnalité, ainsi que des primitives d'optimisation de niveau inférieur et des API de pipeline de niveau supérieur.
Il se divise en deux paquets:
spark.mllib contient l'API d'origine construite sur les RDD.
spark.ml fournit des API de niveau supérieur construites à partir de DataFrames pour la construction de pipelines ML.
Public
Ce cours s’adresse aux ingénieurs et aux développeurs qui souhaitent utiliser une bibliothèque de machines intégrée à Apache Spark
Stratio: Rocket and Intelligence Modules with PySpark
14 HeuresStratio est une plateforme centrée sur les données qui intègre le big data, l'IA et la gouvernance dans une seule solution. Ses modules Rocket et Intelligence permettent une exploration rapide des données, leur transformation et des analyses avancées dans les environnements d’entreprise.
Cette formation dispensée par un formateur (en ligne ou sur site) s'adresse aux professionnels de niveau intermédiaire en données qui souhaitent utiliser efficacement les modules Rocket et Intelligence de Stratio avec PySpark, en se concentrant sur les structures de boucle, les fonctions définies par l'utilisateur et la logique des données avancée.
À la fin de cette formation, les participants pourront :
- Naviguer et travailler au sein de la plateforme Stratio en utilisant les modules Rocket et Intelligence.
- Appliquer PySpark dans le contexte d'ingestion, de transformation et d'analyse des données.
- Utiliser des boucles et une logique conditionnelle pour contrôler les flux de travail des données et les tâches d'ingénierie des fonctionnalités.
- Créer et gérer des fonctions définies par l'utilisateur (UDFs) pour les opérations réutilisables des données dans PySpark.
Format de la Formation
- Cours interactif et discussion.
- De nombreuses exercices et pratiques.
- Implémentation pratique dans un environnement de laboratoire en direct.
Options de Personnalisation du Cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour en faire la demande.