Formation Big Data & Database Systems Fundamentals

Cette formation en direct avec instructeur en France&nbsp ;(en ligne ou sur site) est destinée aux administrateurs de bases de données ou aux développeurs qui souhaitent utiliser Microsoft Azure Cosmos DB pour développer et gérer des applications hautement réactives et à faible latence.

A l'issue de cette formation, les participants seront capables de :

• Provisionner les ressources Cosmos DB nécessaires pour commencer à construire des bases de données et des applications.
• Mettre à niveau les performances et le stockage des applications en utilisant les API de Cosmos DB. 
• Gérer les opérations des bases de données et réduire les coûts en optimisant les ressources de Cosmos DB.

Au cours de cette formation en direct à France, les participants apprendront à construire un Data Vault.

À l'issue de cette formation, les participants seront en mesure de :

• Comprendre l'architecture et les concepts de conception derrière Data Vault 2.0, et son interaction avec Big Data, NoSQL et l'IA.
• Utiliser les techniques de mise en voûte des données pour permettre l'audit, le traçage et l'inspection des données historiques dans un entrepôt de données.
• Développer un processus ETL (Extract, Transform, Load) cohérent et reproductible.
• Construire et déployer des entrepôts hautement évolutifs et reproductibles.

Cette formation en direct avec instructeur dans France (en ligne ou sur site) est destinée aux ingénieurs de données, aux scientifiques de données et aux programmeurs qui souhaitent utiliser les fonctionnalités de Spark Streaming dans le traitement et l'analyse de données en temps réel.

À la fin de cette formation, les participants seront en mesure d'utiliser Spark Streaming pour traiter des flux de données en temps réel et les utiliser dans des bases de données, des systèmes de fichiers et des tableaux de bord en temps réel.

Cette formation en direct dans France (en ligne ou sur site) est destinée aux développeurs qui souhaitent mettre en œuvre le traitement de flux Apache Kafka sans écrire de code.

A l'issue de cette formation, les participants seront capables de :

• Installer et configurer Confluent KSQL.
• Mettre en place un pipeline de traitement de flux en utilisant uniquement des commandes SQL (pas de codage Java ou Python).
• Effectuer le filtrage des données, les transformations, les agrégations, les jointures, le fenêtrage et la sessionnalisation entièrement en SQL.
• Concevoir et déployer des requêtes interactives et continues pour l'ETL en continu et l'analyse en temps réel.

Cette formation en direct dans France (en ligne ou sur site) est destinée aux développeurs qui souhaitent apprendre les principes du stockage persistant et purement en mémoire, tout en créant un exemple de projet d'informatique en mémoire.

A la fin de cette formation, les participants seront capables de :

• Utiliser Ignite pour la persistance en mémoire, sur disque ainsi que pour une base de données en mémoire purement distribuée.
• Réaliser la persistance sans synchroniser les données avec une base de données relationnelle.
• Utiliser Ignite pour effectuer des jointures SQL et distribuées.
• Améliorer les performances en rapprochant les données de l'unité centrale, en utilisant la mémoire vive comme stockage.
• Répartir les ensembles de données sur un cluster pour obtenir une évolutivité horizontale.
• Intégrer Ignite aux SGBDR, NoSQL, Hadoop et aux processeurs d'apprentissage automatique.

Apache Beam est un modèle de programmation unifié et open source permettant de définir et d'exécuter des pipelines de traitement de données parallèles. Sa puissance réside dans sa capacité à exécuter des pipelines en batch et en streaming, l'exécution étant réalisée par l'un des back-ends de traitement distribué pris en charge par Beam : Apache Apex, Apache Flink, Apache Spark et Go ogle Cloud Dataflow. Beam Apache Beam est utile pour les tâches ETL (Extract, Transform, and Load) telles que le déplacement de données entre différents supports de stockage et sources de données, la transformation de données dans un format plus souhaitable, et le chargement de données sur un nouveau système.

Au cours de cette formation en direct (sur site ou à distance), les participants apprendront à mettre en œuvre les SDK Apache Beam dans une application Java ou Python qui définit un pipeline de traitement des données permettant de décomposer un ensemble de données volumineuses en morceaux plus petits pour un traitement indépendant et parallèle.

À la fin de cette formation, les participants seront capables de :

• Installer et configurer Apache Beam.
• Utiliser un modèle de programmation unique pour effectuer des traitements par lots et par flux à partir de leur application Java ou Python.
• Exécuter des pipelines dans plusieurs environnements.

Format du cours permettant d'évaluer les participants

• En partie cours magistral, en partie discussion, exercices et pratique intensive.

Remarque

• Ce cours sera disponible Scala dans le futur. Veuillez nous contacter pour convenir d'un rendez-vous.

Apache Apex est une plateforme native YARN qui unifie le traitement des flux et des lots. Elle traite les données volumineuses en mouvement de manière évolutive, performante, tolérante aux pannes, avec état, sécurisée, distribuée et facilement exploitable.

Cette formation en direct avec instructeur présente l'architecture unifiée de traitement des flux de Apache Apex et accompagne les participants dans la création d'une application distribuée à l'aide d'Apex sur Hadoop.

À l'issue de cette formation, les participants seront en mesure de :

• Comprendre les concepts de pipeline de traitement de données tels que les connecteurs pour les sources et les puits, les transformations de données courantes, etc.
• Construire, mettre à l'échelle et optimiser une application Apex
• Traiter des flux de données en temps réel de manière fiable et avec une latence minimale
• Utiliser Apex Core et la bibliothèque Apex Malhar pour permettre un développement rapide des applications
• Utiliser l'API Apex pour écrire et réutiliser le code Java existant
• Intégrer Apex dans d'autres applications en tant que moteur de traitement
• Optimiser, tester et mettre à l'échelle les applications Apex.

Format du cours permettant d'évaluer les participants

• Exposé et discussion interactifs.
• Beaucoup d'exercices et de pratique.
• Mise en œuvre pratique dans un environnement live-lab.

Options de personnalisation du cours

• Pour demander une formation personnalisée pour ce cours, veuillez nous contacter.

Apache Storm est un moteur de calcul distribué et en temps réel utilisé pour permettre une intelligence économique en temps réel. Pour ce faire, il permet aux applications de traiter de manière fiable des flux de données illimités (traitement en flux).

"Storm est pour le traitement en temps réel ce que Hadoop est pour le traitement par lots !

Dans cette formation, les participants apprendront à installer et à configurer Apache Storm, puis à développer et à déployer une application Apache Storm pour traiter des données volumineuses en temps réel.

Parmi les sujets abordés dans cette formation, citons :

• Apache Storm dans le contexte de Hadoop
• Travailler avec des données illimitées
• Calcul continu
• Analyse en temps réel
• RPC distribué et traitement ETL

Demandez ce cours maintenant !

Audience

• Développeurs de logiciels et d'ETL
• Professionnels de l'ordinateur central
• Scientifiques des données
• Analystes Big Data
• Professionnels du Hadoop.

Format du cours permettant d'évaluer les participants

• En partie conférence, en partie discussion, exercices et pratique intensive.

Au cours de cette formation en direct, dirigée par un instructeur, à France (sur place ou à distance), les participants apprendront à déployer et à gérer Apache NiFi dans un environnement de laboratoire réel.

A la fin de cette formation, les participants seront capables de :

• Installer et configurer Apachi NiFi.
• Rechercher, transformer et gérer des données à partir de sources de données disparates et distribuées, y compris les bases de données et les lacs de données.
• Automatiser les flux de données.
• Permettre l'analyse en continu.
• Appliquer différentes approches pour l'ingestion de données.
• Transformer les données Big Data en informations commerciales.

Au cours de cette formation en direct et dirigée par un instructeur dans France, les participants apprendront les principes fondamentaux de la programmation par flux en développant un certain nombre d'extensions, de composants et de processeurs de démonstration à l'aide de Apache NiFi.

A la fin de cette formation, les participants seront capables de :

• Comprendre l'architecture de NiFi et les concepts de flux de données.
• Développer des extensions en utilisant NiFi et des APIs tierces.
• Développer leur propre processeur Apache Nifi.
• Ingérer et traiter des données en temps réel à partir de formats de fichiers et de sources de données disparates et peu communs.

Cette formation en direct à France (en ligne ou sur site) présente les principes et les approches du traitement distribué des données en flux et par lots, et accompagne les participants dans la création d'une application de flux de données en temps réel dans Apache Flink.

A la fin de cette formation, les participants seront capables de :

• Mettre en place un environnement pour développer des applications d'analyse de données.
• Comprendre le fonctionnement de la bibliothèque de traitement de graphes de Apache Flink (Gelly).
• Mettre en place, exécuter et surveiller des applications de streaming de données basées sur Flink et tolérantes aux pannes.
• Gérer diverses charges de travail.
• Effectuer des analyses avancées.
• Mettre en place un cluster Flink à plusieurs nœuds.
• Mesurer et optimiser les performances.
• Intégrer Flink à différents systèmes Big Data.
• Comparer les capacités de Flink avec celles d'autres frameworks de traitement des big data.

Au cours de cette formation en direct avec instructeur à France, les participants apprendront à utiliser Python et Spark ensemble pour analyser les données volumineuses (big data) en travaillant sur des exercices pratiques.

A la fin de cette formation, les participants seront capables de :

• Apprendre à utiliser Spark avec Python pour analyser Big Data.
• Travailler sur des exercices qui imitent des cas réels.
• Utiliser différents outils et techniques pour l'analyse des big data en utilisant PySpark.

Au cours de cette formation en direct à France, les participants découvriront les offres technologiques et les approches de mise en œuvre pour le traitement des données graphiques. L'objectif est d'identifier les objets du monde réel, leurs caractéristiques et leurs relations, puis de modéliser ces relations et de les traiter en tant que données à l'aide d'une approche Graph Computing (également connue sous le nom de Graph Analytics). Nous commençons par une vue d'ensemble et nous nous concentrons sur des outils spécifiques à travers une série d'études de cas, d'exercices pratiques et de déploiements en direct.

A la fin de cette formation, les participants seront capables de :

• Comprendre comment les données graphiques sont persistées et parcourues.
• Sélectionner le meilleur framework pour une tâche donnée (des bases de données de graphes aux frameworks de traitement par lots).
• Mettre en œuvre Hadoop, Spark, GraphX et Pregel pour effectuer des calculs de graphes sur de nombreuses machines en parallèle.
• Voir les problèmes de big data du monde réel en termes de graphes, de processus et de traversées.

Ce cours s'adresse aux développeurs et aux scientifiques des données qui souhaitent comprendre et mettre en œuvre l'IA dans leurs applications. Une attention particulière est accordée à l'analyse des données, à l'IA distribuée et au traitement du langage naturel.

MLlib est la bibliothèque d'apprentissage automatique (ML) de Spark. Son objectif est de rendre l'apprentissage pratique pratique évolutif et facile. Il comprend des algorithmes et des utilitaires d'apprentissage courants, notamment la classification, la régression, la mise en cluster, le filtrage collaboratif, la réduction de la dimensionnalité, ainsi que des primitives d'optimisation de niveau inférieur et des API de pipeline de niveau supérieur.

Il se divise en deux paquets:

• spark.mllib contient l'API d'origine construite sur les RDD.

• spark.ml fournit des API de niveau supérieur construites à partir de DataFrames pour la construction de pipelines ML.

Public

Ce cours s’adresse aux ingénieurs et aux développeurs qui souhaitent utiliser une bibliothèque de machines intégrée à Apache Spark