Prenez contact avec nous

Plan du cours

Introduction à Apache Airflow

  • Qu'est-ce que l'orchestration de workflows ?
  • Fonctionnalités clés et avantages d'Apache Airflow
  • Améliorations d'Airflow 2.x et aperçu de l'écosystème

Architecture et concepts fondamentaux

  • Processeurs de planification, serveur Web et processus de travail
  • DAG, tâches et opérateurs
  • Exécutants et backends (Local, Celery, Kubernetes)

Installation et configuration

  • Installation d'Airflow dans des environnements locaux et cloud
  • Configuration d'Airflow avec différents exécutants
  • Configuration des bases de données de métadonnées et des connexions

Navigation dans l'interface utilisateur et l'interface en ligne de commande (CLI) d'Airflow

  • Exploration de l'interface Web d'Airflow
  • Surveillance des exécutions de DAG, des tâches et des journaux
  • Utilisation de la CLI d'Airflow pour l'administration

Création et gestion des DAG

  • Création de DAG à l'aide de l'API TaskFlow
  • Utilisation d'opérateurs, de capteurs (sensors) et d'accroches (hooks)
  • Gestion des dépendances et des intervalles de planification

Intégration d'Airflow avec les services de données et cloud

  • Connexion aux bases de données, API et files de messages
  • Exécution de pipelines ETL avec Airflow
  • Intégrations cloud : opérateurs AWS, GCP, Azure

Surveillance et observabilité

  • Journaux des tâches et surveillance en temps réel
  • Métriques avec Prometheus et Grafana
  • Alertes et notifications par e-mail ou Slack

Sécurisation d'Apache Airflow

  • Contrôle d'accès basé sur les rôles (RBAC)
  • Authentification avec LDAP, OAuth et SSO
  • Gestion des secrets avec Vault et des coffres de secrets cloud

Dimensionnement d'Apache Airflow

  • Parallélisme, concurrence et files de tâches
  • Utilisation de CeleryExecutor et KubernetesExecutor
  • Déploiement d'Airflow sur Kubernetes avec Helm

Meilleures pratiques pour la production

  • Contrôle de version et CI/CD pour les DAG
  • Tests et débogage des DAG
  • Maintien de la fiabilité et des performances à grande échelle

Dépannage et optimisation

  • Débogage des DAG et des tâches en échec
  • Optimisation des performances des DAG
  • Erreurs courantes et comment les éviter

Résumé et prochaines étapes

Pré requis

  • Expérience en programmation Python
  • Connaissance des concepts d'ingénierie des données ou de DevOps
  • Compréhension de l'ETL ou de l'orchestration de workflows

Public cible

  • Data scientists
  • Ingénieurs en données
  • Ingénieurs DevOps et infrastructure
  • Développeurs logiciels
 21 Heures

Nombre de participants


Prix par participant

Nos clients témoignent (7)

Cours à venir

Catégories Similaires