Formation Tigon: Real-time Streaming for the Real World

Cette formation en <loc> ; (en ligne ou sur site) est destinée aux ingénieurs de données, aux scientifiques de données et aux programmeurs qui souhaitent utiliser les fonctionnalités Spark Streaming dans le traitement et l'analyse de données en temps réel.

À l'issue de cette formation, les participants seront en mesure d'utiliser Spark Streaming pour traiter des flux de données en direct destinés à être utilisés dans des bases de données, des systèmes de fichiers et des tableaux de bord en direct.

Cette formation en direct avec instructeur (en ligne ou sur site) s'adresse aux développeurs qui souhaitent mettre en œuvre le traitement des flux Apache Kafka sans écrire de code.

A l'issue de cette formation, les participants seront capables de :

• Installer et configurer Confluent KSQL.
• Mettre en place un pipeline de traitement de flux en utilisant uniquement des commandes SQL (pas de codage Java ou Python).
• Exécuter le filtrage des données, les transformations, les agrégations, les jointures, le fenêtrage et la sessionnalisation entièrement en SQL.

Apache Ignite is an in-memory computing platform that sits between the application and data layer to improve speed, scale, and availability.

This instructor-led, live training (online or onsite) is aimed at developers who wish to learn the principles behind persistent and pure in-memory storage as they step through the creation of a sample in-memory computing project.

By the end of this training, participants will be able to:

• Use Ignite for in-memory, on-disk persistence as well as a purely distributed in-memory database.
• Achieve persistence without syncing data back to a relational database.
• Use Ignite to carry out SQL and distributed joins.
• Improve performance by moving data closer to the CPU, using RAM as a storage.
• Spread data sets across a cluster to achieve horizontal scalability.
• Integrate Ignite with RDBMS, NoSQL, Hadoop and machine learning processors.

Format of the Course

• Interactive lecture and discussion.
• Lots of exercises and practice.
• Hands-on implementation in a live-lab environment.

Course Customization Options

• To request a customized training for this course, please contact us to arrange.

Apache Beam est un modèle de programmation unifiée et open source permettant de définir et d'exécuter des pipelines de traitement de données parallèles Sa puissance réside dans sa capacité à exécuter à la fois des pipelines batch et de streaming, l'exécution étant effectuée par l'un des backends de traitement distribué pris en charge par Apache: Apache Apex, Apache Flink, Apache Spark et Google Cloud Dataflow Apache Beam est utile pour les tâches ETL (Extraction, Transformation et Chargement) telles que le déplacement de données entre différents supports de stockage et sources de données, la transformation des données dans un format plus souhaitable et le chargement de données sur un nouveau système Dans cette formation en ligne instruite, les participants apprendront comment implémenter les SDK Apache Beam dans une application Java ou Python qui définit un pipeline de traitement de données pour décomposer un gros ensemble de données en plus petits morceaux pour un traitement parallèle indépendant À la fin de cette formation, les participants seront en mesure de: Installez et configurez Apache Beam Utilisez un seul modèle de programmation pour effectuer à la fois le traitement par lots et le traitement de flux à partir de leur application Java ou Python Exécutez des pipelines dans plusieurs environnements Public Développeurs Format du cours Partie conférence, discussion en partie, exercices et pratique lourde de handson Remarque Ce cours sera disponible Scala dans le futur S'il vous plaît contactez-nous pour organiser .

Apache Apex est une plate-forme YARNnative qui unifie le traitement des flux et des lots Il traite les données importantes de manière évolutive, performante, tolérante, dynamique, distribuée et facilement exploitable Cette formation en ligne, en mode instructeur, présente l'architecture de traitement de flux unifié d'Apache Apex et guide les participants à travers la création d'une application distribuée utilisant Apex sur Hadoop À la fin de cette formation, les participants seront en mesure de: Comprendre les concepts de pipeline de traitement de données tels que les connecteurs pour les sources et les puits, les transformations de données communes, etc Construire, dimensionner et optimiser une application Apex Traiter les flux de données en temps réel de manière fiable et avec une latence minimale Utilisez Apex Core et la bibliothèque Apex Malhar pour accélérer le développement d'applications Utiliser l'API Apex pour écrire et réutiliser le code Java existant Intégrer Apex dans d'autres applications en tant que moteur de traitement Régler, tester et mettre à l'échelle les applications Apex Public Développeurs Architectes d'entreprise Format du cours Partie conférence, discussion en partie, exercices et pratique lourde de handson .

Apache Storm est un moteur de calcul distribué en temps réel utilisé pour permettre l'intelligence d'affaires en temps réel. Il le fait en permettant aux applications de traiter de manière fiable les flux de données illimité (par exemple. Traitement de flux).

"Storm est pour le traitement en temps réel ce qui Hadoop est pour le traitement de pièces!"

Dans cette formation en direct guidée par l'instructeur, les participants apprendront comment installer et configurer Apache Storm, puis développer et déployer une Apache Storm application pour traiter de grands données en temps réel.

Certains des sujets inclus dans cette formation comprennent :

• Apache Storm dans le contexte de Hadoop
• Travailler avec des données illimitées
• Comptabilité continue
• Analyse en temps réel
• Traitement distribué RPC et ETL

Demandez ce cours maintenant!

Audience

• Développeurs de logiciels et ETL
• Les professionnels de mainframe
• Les scientifiques de données
• Les grands analystes de données
• [ 0 ] Les professionnels

Format du cours

• Lecture partielle, discussion partielle, exercices et pratiques lourdes

Dans cette formation dirigée par un instructeur (sur site ou à distance), les participants apprendront à déployer et à gérer Apache NiFi dans un environnement de laboratoire réel.

A l'issue de cette formation, les participants seront capables de :

• Installer et configurer Apachi NiFi.
• Sourcez, transformez et gérez des données provenant de sources de données disparates et distribuées, notamment des bases de données et des big data lakes.
• Automatiser les flux de données.
• Autoriser l'analyse en continu.
• Appliquer diverses approches pour l'ingestion de données.
• Transformer Big Data et en informations commerciales.

Dans cette formation en direct, dirigée par un instructeur, les participants apprendront les principes fondamentaux de la programmation basée sur le flux en développant un certain nombre d'extensions, de composants et de processeurs de démonstration à l'aide de Apache NiFi.

A l'issue de cette formation, les participants seront capables de :

Développer des extensions en utilisant NiFi et des API tierces.
• Développer son propre processeur Apache Nifi.
• Ingérer et traiter des données en temps réel à partir de formats de fichiers et de sources de données disparates et peu courants.

Cette formation en direct avec instructeur (en ligne ou sur site) présente les principes et les approches qui sous-tendent le traitement distribué des données en flux et par lots, et accompagne les participants dans la création d'une application de flux de données en temps réel dans Apache Flink.

A l'issue de cette formation, les participants seront capables de :

Mettre en place un environnement pour développer des applications d'analyse de données. Comprendre le fonctionnement de la bibliothèque de traitement de graphes d'Apache Flink (Gelly). Compiler, exécuter et surveiller des applications de streaming de données basées sur Flink et tolérantes aux pannes. Gérer diverses charges de travail. Effectuer des analyses avancées. Mettre en place un cluster Flink à plusieurs nœuds. Mesurer et optimiser les performances. Intégrer Flink à différents systèmes Big Data. Comparer les capacités de Flink avec celles d'autres frameworks de traitement des big data.

Cette formation en direct avec instructeur (en ligne ou sur site) présente Hortonworks Data Platform (HDP) et accompagne les participants dans le déploiement de la solution Spark + Hadoop.

A l'issue de cette formation, les participants seront capables de :

Utilisez Hortonworks pour exécuter Hadoop de manière fiable à grande échelle. Unifiez les capacités de sécurité, de gouvernance et d'exploitation de Hadoop avec les flux de travail analytiques agiles de Spark. Utiliser Hortonworks pour étudier, valider, certifier et prendre en charge chacun des composants d'un projet Spark. Traiter différents types de données, notamment structurées, non structurées, en mouvement et au repos.

Apache Ambari est une plate-forme de gestion open source pour le provisionnement, la gestion, la surveillance et la sécurisation des clusters Apache Hadoop .

Dans cette formation en direct animée par un instructeur, les participants apprendront les outils et pratiques de gestion fournis par Ambari pour gérer avec succès les clusters Hadoop .

À la fin de cette formation, les participants seront en mesure de:

• Configurer un cluster Big Data en direct avec Ambari
• Appliquer les fonctionnalités avancées d'Ambari à divers cas d'utilisation
• Ajoutez et supprimez des nœuds de manière transparente, au besoin
• Améliorez les performances d'un cluster Hadoop le biais de réglages et d'ajustements

Public

• DevOps
• Administrateurs système
• DBA
• Professionnels de test Hadoop

Format du cours

• Partie de conférence, partie de discussion, exercices et exercices intensifs

Cloudera Impala is an open source massively parallel processing (MPP) SQL query engine for Apache Hadoop clusters.

Impala enables users to issue low-latency SQL queries to data stored in Hadoop Distributed File System and Apache Hbase without requiring data movement or transformation.

Audience

This course is aimed at analysts and data scientists performing analysis on data stored in Hadoop via Business Intelligence or SQL tools.

After this course delegates will be able to

• Extract meaningful information from Hadoop clusters with Impala.
• Write specific programs to facilitate Business Intelligence in Impala SQL Dialect.
• Troubleshoot Impala.

Ce cours explique comment utiliser le SQL Hive SQL (AKA: Hive HQL, SQL sur Hive , Hive QL) pour les personnes qui extraient des données à partir de Hive

Apache Samza est un framework de calcul asynchrone open source quasi-temps réel pour le traitement de flux. Il utilise Apache Kafka pour la messagerie et Apache Hadoop YARN pour la tolérance aux pannes, l'isolation du processeur, la sécurité et la gestion des ressources.

Cette formation en direct, animée par un instructeur, présente les principes sous-jacents aux systèmes de messagerie et au traitement de flux distribué, tout en guidant les participants dans la création d'un exemple de projet et d'exécution de travaux basé sur Samza.

À la fin de cette formation, les participants seront en mesure de:

• Utilisez Samza pour simplifier le code nécessaire à la production et à la consommation de messages.
• Découpler le traitement des messages d'une application.
• Utilisez Samza pour implémenter un calcul asynchrone en temps quasi réel.
• Utilisez le traitement de flux pour fournir un niveau d'abstraction plus élevé sur les systèmes de messagerie.

Public

• Développeurs

Format du cours

• Partie de conférence, partie de discussion, exercices et exercices intensifs

Kafka Streams est une bibliothèque côté client permettant de créer des applications et des microservices dont les données sont transmises depuis et vers un système de messagerie Kafka. Apache Kafka s’appuyait traditionnellement sur Apache Spark ou Apache Storm pour traiter les données entre les producteurs de messages et les consommateurs. En appelant l'API Kafka Streams depuis une application, les données peuvent être traitées directement dans Kafka, ce qui évite d'avoir à les envoyer à un cluster distinct.

Au cours de cette formation en direct animée par un instructeur, les participants apprendront comment intégrer Kafka Streams à un ensemble d’exemples d’applications Java qui transmettent des données depuis et vers Apache Kafka pour le traitement de flux.

À la fin de cette formation, les participants seront en mesure de:

• Comprendre les fonctionnalités et les avantages de Kafka Streams par rapport aux autres infrastructures de traitement de flux
• Traiter les données de flux directement dans un cluster Kafka
• Écrire une application ou un microservice Java ou Scala intégrant Kafka et Kafka Streams
• Écrivez un code concis qui transforme les sujets d’entrée de Kafka en sujets de sortie de Kafka
• Construire, empaqueter et déployer l'application

Public

• Développeurs

Format du cours

• Partie de conférence, partie de discussion, exercices et exercices intensifs

Remarques

• Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser