Merci d'avoir envoyé votre demande ! Un membre de notre équipe vous contactera sous peu.
Merci d'avoir envoyé votre réservation ! Un membre de notre équipe vous contactera sous peu.
Durée 35 heures
Plan du cours
Introduction, Objectifs et Stratégie de Migration
- Objectifs du cours, alignement du profil des participants et critères de réussite
- Approches de migration de haut niveau et considérations relatives aux risques
- Configuration des espaces de travail, des dépôts et des jeux de données de laboratoire
Jour 1 — Fondamentaux de la migration et architecture
- Concepts Lakehouse, aperçu de Delta Lake et architecture Databricks
- Différences entre SMP et MPP et implications pour la migration
- Conception Medallion (Bronze → Argent → Or) et aperçu d'Unity Catalog
Jour 1 Lab — Traduction d'une procédure stockée
- Migration pratique d'une procédure stockée d'exemple vers un notebook
- Mappage des tables temporaires et des curseurs vers des transformations DataFrame
- Validation et comparaison avec la sortie d'origine
Jour 2 — Delta Lake avancé & chargement incrémental
- Transactions ACID, journaux de commit, versioning et voyage dans le temps
- Auto Loader, modèles MERGE INTO, upserts et évolution de schéma
- OPTIMIZE, VACUUM, Z-ORDER, partitionnement et ajustement du stockage
Jour 2 Lab — Ingestion & optimisation incrémentales
- Mise en œuvre de l'ingestion Auto Loader et des workflows MERGE
- Application de OPTIMIZE, Z-ORDER et VACUUM ; validation des résultats
- Mesure des améliorations de performances de lecture/écriture
Jour 3 — SQL dans Databricks, performances & débogage
- Fonctionnalités SQL analytiques : fonctions de fenêtre, fonctions d'ordre supérieur, traitement JSON/tableau
- Lecture de l'interface utilisateur Spark, DAGs, shuffles, étapes, tâches et diagnostic des goulots d'étranglement
- Modèles d'optimisation de requêtes : jointures en direct, indices, mise en cache et réduction des déversements
Jour 3 Lab — Refactoring SQL & réajustement des performances
- Refactoring d'un processus SQL lourd vers du Spark SQL optimisé
- Utilisation des traces de l'interface utilisateur Spark pour identifier et corriger les problèmes de déséquilibre et de shuffle
- Benchmark avant/après et documentation des étapes de réajustement
Jour 4 — PySpark tactique : Remplacement de la logique procédurale
- Modèle d'exécution Spark : driver, exécuteurs, évaluation paresseuse et stratégies de partitionnement
- Transformation des boucles et des curseurs en opérations DataFrame vectorisées
- Modularisation, UDFs/UDFs pandas, widgets et bibliothèques réutilisables
Jour 4 Lab — Refactoring de scripts procéduraux
- Refactoring d'un script ETL procédural vers des notebooks PySpark modulaires
- Introduction de la paramétrisation, des tests de type unitaire et des fonctions réutilisables
- Revue de code et application de la liste de vérification des meilleures pratiques
Jour 5 — Orchestration, pipeline de bout en bout & meilleures pratiques
- Databricks Workflows : conception de tâches, dépendances, déclencheurs et gestion des erreurs
- Conception de pipelines Medallion incrémentiels avec règles de qualité et validation de schéma
- Intégration avec Git (GitHub/Azure DevOps), CI et stratégies de test pour la logique PySpark
Jour 5 Lab — Construction d'un pipeline de bout en bout complet
- Assemblage du pipeline Bronze → Argent → Or orchestré avec Workflows
- Mise en œuvre de la journalisation, de l'audit, des tentatives de répétition et des validations automatisées
- Exécution du pipeline complet, validation des sorties et préparation des notes de déploiement
Opérationnalisation, gouvernance et préparation à la production
- Meilleures pratiques pour la gouvernance Unity Catalog, la lignée et le contrôle d'accès
- Coût, dimensionnement des clusters, mise à l'échelle automatique et modèles de concurrence des tâches
- Listes de vérification de déploiement, stratégies de retour arrière et création de runbooks
Revue finale, transfert de connaissances et prochaines étapes
- Présentations des participants sur le travail de migration et les leçons apprises
- Analyse des écarts, activités de suivi recommandées et remise des supports de formation
- Références, parcours d'apprentissage complémentaires et options de support
Pré requis
- Une compréhension des concepts d'ingénierie de données
- Une expérience en SQL et en procédures stockées (Synapse / SQL Server)
- Une familiarité avec les concepts d'orchestration ETL (ADF ou similaire)
Public cible
- Managers technologiques avec un background en ingénierie de données
- Ingénieurs de données qui migrent des logiques OLAP procédurales vers des modèles Lakehouse
- Ingénieurs plateforme responsables de l'adoption de Databricks
Nos clients témoignent (1)
les labs et la qualité des exercices de mise en pratique
