Formation PySpark en Lille

Dans cette formation en direct animée par un instructeur à Lille, les participants apprendront comment utiliser conjointement Python et Spark pour analyser le Big Data, en s'appuyant sur des exercices pratiques.

À l'issue de cette formation, les participants seront en mesure de :

• Apprendre à utiliser Spark avec Python pour analyser le Big Data.
• Réaliser des exercices qui reproduisent des cas réels.
• Utiliser différents outils et techniques pour l'analyse du Big Data au moyen de PySpark.

Ce formation en présentiel (en ligne ou sur site) s'adresse aux ingénieurs des données, analystes de données et professionnels des données souhaitant utiliser Databricks et PySpark pour créer des pipelines de données évolutifs et migrer leurs workflows SQL existants.

Cette formation offre une introduction pratique à la construction de workflows évolutifs de traitement de données et de Machine Learning utilisant PySpark. Les participants découvrent le fonctionnement d'Apache Spark au sein des écosystèmes modernes de Big Data et apprennent à traiter efficacement de grands volumes de données grâce aux principes du calcul distribué.

Ce cours pratique de trois jours se concentre sur la conception et l'optimisation de charges de travail de traitement de données efficaces à l'aide de PySpark, Pandas et Polars dans des environnements basés sur Kubernetes.

Les participants développeront une compréhension pratique de l'exécution des applications Spark sur Kubernetes et de la manière dont les décisions de configuration au niveau applicatif influencent les performances, la scalabilité, la consommation de ressources et les coûts. Le cours couvre des domaines clés d'optimisation, notamment la taille des exécuteurs, l'allocation de la mémoire, l'allocation dynamique, les stratégies de partitionnement, le comportement du shuffle, les problèmes de petits fichiers et le traitement efficace de Parquet.

Le cours aborde également les défis courants liés à l'utilisation de Pandas, tels que les limitations de mémoire et les erreurs de dépassement de mémoire, et introduit Polars comme alternative haute performance pour certaines charges de travail de traitement de données. À travers des exercices pratiques, les participants diagnostiqueront les problèmes de performance et de mémoire, compareront différentes stratégies de configuration et appliqueront des techniques d'optimisation à des scénarios réalistes d'ETL et d'apprentissage automatique.

La priorité tout au long du cours est donnée à la prise de décision pratique : comprendre comment identifier les goulets d'étranglement, sélectionner l'outil approprié, configurer Spark efficacement et trouver l'équilibre entre les performances et la consommation de ressources d'infrastructure et les coûts.