Plan du cours

Section 1 : Data Management dans HDFS

  • Différents formats de données (JSON / Avro / Parquet)
  • Schémas de compression
  • Masquage des données
  • Labs : Analyser les différents formats de données ; activer la compression

Section 2 : Pig avancé

  • Fonctions définies par l'utilisateur
  • Introduction aux bibliothèques Pig (ElephantBird / Data-Fu)
  • Chargement de données structurées complexes avec Pig
  • Ajustement de Pig
  • Labs : scripts Pig avancés, analyse de types de données complexes

Section 3 : Fonctions avancées Hive

  • Fonctions définies par l'utilisateur
  • Tables compressées
  • Hive Optimisation des performances
  • Labs : création de tables compressées, évaluation des formats de tables et de la configuration

Section 4 : HBase avancé

  • Modélisation avancée des schémas
  • Compression
  • Ingestion de données en masse
  • Comparaison table large / table haute
  • HBase et Pig
  • HBase et Hive
  • Optimisation des performances de HBase
  • Labs : réglage de HBase ; accès aux données HBase à partir de Pig & Hive ; utilisation de Phoenix pour la modélisation des données

Pré requis

  • à l'aise avec le langage de programmation Java (la plupart des exercices de programmation sont en Java)
  • A l'aise dans l'environnement Linux (être capable de naviguer dans la ligne de commande Linux, d'éditer des fichiers en utilisant vi / nano)
  • une connaissance pratique de Hadoop.

Lab environment

Zéro installation: Il n'est pas nécessaire d'installer le logiciel Hadoop sur les machines des étudiants ! Un cluster Hadoop fonctionnel sera fourni aux étudiants.

Les étudiants auront besoin des éléments suivants

  • un client SSH (Linux et Mac ont déjà des clients SSH, pour Windows Putty est recommandé)
  • un navigateur pour accéder au cluster. Nous recommandons le navigateur Firefox
  21 heures
 

Nombre de participants


Début

Fin


Dates are subject to availability and take place between 09:30 and 16:30.
Les formations ouvertes requièrent plus de 3 participants.

Nos Clients témoignent (3)

Cours Similaires

Catégories Similaires