Plan du cours
Introduction à Apache Airflow
- Qu'est-ce que l'orchestration de workflows ?
- Fonctionnalités clés et avantages d'Apache Airflow
- Améliorations d'Airflow 2.x et aperçu de l'écosystème
Architecture et concepts fondamentaux
- Processeurs de planification, serveur Web et processus de travail
- DAG, tâches et opérateurs
- Exécutants et backends (Local, Celery, Kubernetes)
Installation et configuration
- Installation d'Airflow dans des environnements locaux et cloud
- Configuration d'Airflow avec différents exécutants
- Configuration des bases de données de métadonnées et des connexions
Navigation dans l'interface utilisateur et l'interface en ligne de commande (CLI) d'Airflow
- Exploration de l'interface Web d'Airflow
- Surveillance des exécutions de DAG, des tâches et des journaux
- Utilisation de la CLI d'Airflow pour l'administration
Création et gestion des DAG
- Création de DAG à l'aide de l'API TaskFlow
- Utilisation d'opérateurs, de capteurs (sensors) et d'accroches (hooks)
- Gestion des dépendances et des intervalles de planification
Intégration d'Airflow avec les services de données et cloud
- Connexion aux bases de données, API et files de messages
- Exécution de pipelines ETL avec Airflow
- Intégrations cloud : opérateurs AWS, GCP, Azure
Surveillance et observabilité
- Journaux des tâches et surveillance en temps réel
- Métriques avec Prometheus et Grafana
- Alertes et notifications par e-mail ou Slack
Sécurisation d'Apache Airflow
- Contrôle d'accès basé sur les rôles (RBAC)
- Authentification avec LDAP, OAuth et SSO
- Gestion des secrets avec Vault et des coffres de secrets cloud
Dimensionnement d'Apache Airflow
- Parallélisme, concurrence et files de tâches
- Utilisation de CeleryExecutor et KubernetesExecutor
- Déploiement d'Airflow sur Kubernetes avec Helm
Meilleures pratiques pour la production
- Contrôle de version et CI/CD pour les DAG
- Tests et débogage des DAG
- Maintien de la fiabilité et des performances à grande échelle
Dépannage et optimisation
- Débogage des DAG et des tâches en échec
- Optimisation des performances des DAG
- Erreurs courantes et comment les éviter
Résumé et prochaines étapes
Pré requis
- Expérience en programmation Python
- Connaissance des concepts d'ingénierie des données ou de DevOps
- Compréhension de l'ETL ou de l'orchestration de workflows
Public cible
- Data scientists
- Ingénieurs en données
- Ingénieurs DevOps et infrastructure
- Développeurs logiciels
Nos clients témoignent (7)
L'instructeur a adapté la formation au niveau des participants et a répondu à toutes les questions. Il était très communicatif, et il était facile d'interagir avec lui. J'ai vraiment apprécié le format de la formation, qui comprenait de nombreux exercices pratiques. Dans l'ensemble, c'était une séance très engageante et bien organisée.
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
Formation - Apache Airflow: Building and Managing Data Pipelines
Traduction automatique
La formation était excellente. La théorie et les exercices étaient très utiles.
Vladimir - PUBLIC COURSE
Formation - Apache Airflow
Traduction automatique
La formation était parfaite sous tous les aspects. Des aspects théoriques utiles et des exercices pratiques.
Vladimir - PUBLIC COURSE
Formation - Apache Airflow
Traduction automatique
La formation était parfaite sous tous les aspects. Des aspects théoriques utiles et des exercices pratiques.
Vladimir - PUBLIC COURSE
Formation - Apache Airflow
Traduction automatique
La formation était parfaite sous tous les aspects. Des aspects théoriques utiles et des exercices pratiques.
Vladimir - PUBLIC COURSE
Formation - Apache Airflow
Traduction automatique
La formation était parfaite sous tous les aspects. Des aspects théoriques utiles et des exercices pratiques.
Vladimir - PUBLIC COURSE
Formation - Apache Airflow
Traduction automatique
La formation était parfaite sous tous les aspects. Des aspects théoriques utiles et des exercices pertinents.
Vladimir - PUBLIC COURSE
Formation - Apache Airflow
Traduction automatique