Formation Python, Spark et Hadoop pour les grands volumes de données

Public cible :

Ce cours est destiné aux spécialistes des TIC à la recherche d'une solution pour stocker et traiter de grands ensembles de données dans un environnement de système distribué.

Goal :

Connaissance approfondie de l'administration des clusters Hadoop.

Ce formation en direct (en ligne ou sur site) est destinée aux scientifiques des données et ingénieurs de niveau intermédiaire qui souhaitent utiliser Google Colab et Apache Spark pour le traitement et l'analyse de grandes masses de données.

À la fin de cette formation, les participants seront capables de :

• Configurer un environnement big data en utilisant Google Colab et Spark.
• Traiter et analyser des jeux de données volumineux efficacement avec Apache Spark.
• Visualiser les grands ensembles de données dans un environnement collaboratif.
• Intégrer Apache Spark avec des outils basés sur le cloud.

L'analyse de données volumineuses implique le processus d'examen de grands ensembles de données variées afin de découvrir des corrélations, des modèles cachés et d'autres informations utiles.

L'industrie de la santé dispose de masses de données médicales et cliniques complexes et hétérogènes. L'application de l'analyse de données volumineuses à des données de santé présente un énorme potentiel pour tirer des insights permettant d'améliorer la prestation des soins de santé. Cependant, l'énormité de ces ensembles de données pose de grands défis dans les analyses et les applications pratiques à un environnement clinique.

Dans cette formation dirigée par un formateur (à distance), les participants apprendront comment réaliser une analyse de données volumineuses dans la santé tout en effectuant une série d'exercices pratiques guidés.

À la fin de cette formation, les participants seront capables de :

• Installer et configurer des outils d'analyse de données volumineuses tels que Hadoop MapReduce et Spark
• Comprendre les caractéristiques des données médicales
• Appliquer des techniques de grandes données pour gérer les données médicales
• Étudier les systèmes et algorithmes de grande donnée dans le contexte des applications de santé

Public visé

• Développeurs
• Data Scientists

Format du cours permettant d'évaluer les participants

• Partie exposé, partie discussion, exercices et pratique intensive.

Note

• Pour demander une formation sur mesure pour ce cours, veuillez nous contacter pour organiser.

Public cible :

Ce cours vise à démystifier la technologie Big Data/Hadoop et à montrer qu'elle n'est pas difficile à comprendre.

Cette formation en direct avec instructeur (en ligne ou sur site) s'adresse aux administrateurs système qui souhaitent apprendre à mettre en place, déployer et gérer des clusters Hadoop au sein de leur organisation.

A l'issue de cette formation, les participants seront capables de :

• Installer et configurer Apache Hadoop.
• Comprendre les quatre composants majeurs de l'écosystème Hadoop : HDFS, MapReduce, YARN et Hadoop Common.
• Utiliser le système de fichiers distribués Hadoop (HDFS) pour faire évoluer un cluster vers des centaines ou des milliers de nœuds. 
• Configurer HDFS comme moteur de stockage pour les déploiements Spark sur site.
• Configurer Spark pour accéder à des solutions de stockage alternatives telles qu'Amazon S3 et des systèmes de base de données NoSQL tels que Redis, Elasticsearch, Couchbase, Aerospike, etc.
• Exécuter des tâches administratives telles que le provisionnement, la gestion, la surveillance et la sécurisation d'un cluster Apache Hadoop.

Dans cette formation dirigée par un instructeur en France (sur site ou à distance), les participants apprendront comment configurer et intégrer différents frameworks de traitement de flux avec des systèmes de stockage de données existants ainsi que d'autres applications logicielles et microservices.

À la fin de cette formation, les participants seront capables de :

• Installer et configurer différents frameworks de traitement de flux, tels que Spark Streaming et Kafka Streaming.
• Comprendre et sélectionner le framework le plus approprié pour la tâche à accomplir.
• Traiter les données de manière continue, simultanée et enregistrement par enregistrement.
• Intégrer des solutions de traitement de flux avec des bases de données existantes, des data warehouses, des lacs de données, etc.
• Intégrer la bibliothèque de traitement de flux la plus appropriée avec les applications et microservices d'entreprise.

Cette formation en présentiel dirigée par un instructeur à France (en ligne ou sur site) est destinée aux scientifiques des données qui souhaitent utiliser la pile SMACK pour construire des plateformes de traitement de données pour des solutions de big data.

À la fin de cette formation, les participants seront capables de :

• Mettre en œuvre une architecture de pipeline de données pour le traitement du big data.
• Développer une infrastructure de cluster avec Apache Mesos et Docker.
• Analyser les données avec Spark et Scala.
• Gérer les données non structurées avec Apache Cassandra.

Cette formation en direct (en ligne ou sur site) s'adresse aux ingénieurs qui souhaitent mettre en place et déployer un système Apache Spark de traitement de très grandes quantités de données.

A l'issue de cette formation, les participants seront capables de :

• Installer et configurer Apache Spark.
• Traiter et analyser rapidement de très grands ensembles de données.
• Comprendre la différence entre Apache Spark et Hadoop MapReduce et savoir quand utiliser l'un ou l'autre.
• Intégrer Apache Spark avec d'autres outils d'apprentissage automatique.

Cette formation en direct avec instructeur à France (en ligne ou sur site) s'adresse aux administrateurs système de niveau débutant à intermédiaire qui souhaitent déployer, maintenir et optimiser les clusters Spark.

A l'issue de cette formation, les participants seront capables de :

• Installer et configurer Apache Spark dans différents environnements.
• Gérer les ressources du cluster et surveiller les applications Spark.
• Optimiser les performances des clusters Spark.
• Mettre en place des mesures de sécurité et assurer la haute disponibilité.
• Déboguer et résoudre les problèmes courants liés à Spark.

L'apprentissage d'Apache Spark présente une courbe d'apprentissage qui s'accélère lentement au début, nécessitant beaucoup d'efforts pour obtenir les premiers résultats. Ce cours vise à franchir la première partie difficile. Après avoir suivi ce cours, les participants comprendront les bases d'Apache Spark, distingueront clairement RDD de DataFrame, apprendront l'API Python et Scala, comprendront les exécuteurs et les tâches, etc. En suivant les meilleures pratiques, ce cours se concentre fortement sur le déploiement dans le cloud, Databricks et AWS. Les étudiants comprendront également les différences entre AWS EMR et AWS Glue, l'un des derniers services Spark d'AWS.

PUBLIC :

Data Engineer, DevOps, Data Scientist

OBJECTIF :

Ce cours introduira Apache Spark. Les étudiants apprendront comment Spark s'intègre dans l'écosystème Big Data, ainsi que comment utiliser Spark pour l'analyse des données. Le cours couvre le Spark shell pour l'analyse interactive des données, les internals de Spark, les API de Spark, Spark SQL, Spark streaming, et machine learning et GraphX.

PUBLIC :

Développeurs / Analystes de données

Cette formation en France (en ligne ou sur site) s'adresse aux data scientists et aux développeurs qui souhaitent utiliser Spark NLP, construit sur Apache Spark, pour développer, implémenter et mettre à l'échelle des modèles et des pipelines de traitement de texte en langage naturel.

A la fin de cette formation, les participants seront capables de :

• Mettre en place l'environnement de développement nécessaire pour commencer à construire des pipelines NLP avec Spark NLP.
• Comprendre les caractéristiques, l'architecture et les avantages de l'utilisation de Spark NLP.
• Utiliser les modèles pré-entraînés disponibles dans Spark NLP pour implémenter le traitement de texte.
• Apprendre à construire, entraîner et mettre à l'échelle les modèles Spark NLP pour des projets de production.
• Appliquer la classification, l'inférence et l'analyse des sentiments sur des cas d'utilisation réels (données cliniques, comportement des clients, etc.).

Au cours de cette formation en direct avec instructeur à France, les participants apprendront à utiliser Python et Spark ensemble pour analyser les données volumineuses (big data) en travaillant sur des exercices pratiques.

A la fin de cette formation, les participants seront capables de :

• Apprendre à utiliser Spark avec Python pour analyser Big Data.
• Travailler sur des exercices qui imitent des cas réels.
• Utiliser différents outils et techniques pour l'analyse des big data en utilisant PySpark.

Apache Spark SQL est le module d'Apache Spark pour travailler avec des données structurées et non structurées. Spark SQL fournit des informations sur la structure des données ainsi que sur les calculs effectués. Ces informations peuvent être utilisées pour réaliser des optimisations. Deux utilisations courantes de Spark SQL sont:
- pour exécuter des requêtes SQL.
- pour lire des données à partir d'une installation Hive existante.

Dans cette formation dirigée par un instructeur (en présentiel ou à distance), les participants apprendront à analyser divers types de jeux de données à l'aide de Spark SQL.

À la fin de cette formation, les participants seront en mesure de :

• Installer et configurer Spark SQL.
• Effectuer des analyses de données avec Spark SQL.
• Interroger des jeux de données dans différents formats.
• Visualiser les données et les résultats des requêtes.

Format du cours permettant d'évaluer les participants

• Cours interactif et discussion.
• Beaucoup d'exercices et de pratique.
• Mise en œuvre pratique dans un environnement de laboratoire en direct.

Options de personnalisation du cours

• Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser cela.

Stratio est une plateforme axée sur les données qui intègre le big data, l'IA et la gouvernance dans une seule solution. Ses modules Rocket et Intelligence permettent des explorations de données rapides, des transformations et des analyses avancées dans des environnements d'entreprise.

Cette formation dirigée par un instructeur (en ligne ou sur site) est destinée aux professionnels des données de niveau intermédiaire qui souhaitent utiliser efficacement les modules Rocket et Intelligence de Stratio avec PySpark, en se concentrant sur les structures de boucle, les fonctions définies par l'utilisateur et la logique de données avancée.

À la fin de cette formation, les participants seront capables de :

• Naviguer et travailler dans la plateforme Stratio en utilisant les modules Rocket et Intelligence.
• Appliquer PySpark dans le contexte de l'ingestion, de la transformation et de l'analyse des données.
• Utiliser les boucles et la logique conditionnelle pour contrôler les flux de travail de données et les tâches d'ingénierie des caractéristiques.
• Créer et gérer des fonctions définies par l'utilisateur (UDFs) pour des opérations de données réutilisables en PySpark.

Format du cours permettant d'évaluer les participants

• Cours interactif avec discussion.
• Nombreux exercices et pratiques.
• Mise en œuvre pratique dans un environnement de laboratoire en direct.

Options de personnalisation du cours

• Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser.