Hadoop : stockage avec HBase

Mettre en oeuvre le stockage Hadoop avec Hbase

  • Filière :

    Gestion de données

  • Sous-filière :

    NoSql & Big Data

  • Référence

    DB-HDS

  • Durée

    2 jours (14 h)

  • Prix par personne HT

    1 550 € HT

Objectifs pédagogiques

  • Comprendre le fonctionnement de HBase
  • Savoir mettre en place une configuration distribuée

Public cible

  • Administrateurs
  • Chefs de projets
  • Toute personne souhaitant stocker des données avec Hbase

Pré-requis

Connaissance des principes de base Hadoop et des bases de données

Programme de la formation

Introduction

  • Rappels rapides sur l’ecosystème Hadoop
  • Les fonctionnalités du framework Hadoop
  • Le projet et les modules : Hadoop Common, HDFS, YARN, Spark, MapReduce
  • Présentation HBase
  • Historique
  • Lien avec HDFS
  • Format des données dans HBase
  • Définitions : table, région, ligne, famille de colonnes, cellules, espace de nommage, …
  • Fonctionnalités : failover automatique, sharding, requêtage

Architecture

  • HBase master node, Region Master, liens avec les clients HBase
  • Haute disponibilité
  • Consistance des données
  • Présentation du rôle de Zookeeper

Installation

  • Choix des packages
  • Installation en mode distribué
  • Mise en oeuvre avec HDFS dans un environnement distribué
  • Test de connexion avec hbase shell
  • Travaux pratiques : Interrogations depuis le serveur http intégré

HBase utilisation : shell

  • Présentation des différentes interfaces disponibles
  • Travaux pratiques avec hbase shell
  • Commandes de base, syntaxe, variables, manipulation des données : create, list, put, scan, get
  • Manipulation des tables : disable (enable), drop, …
  • Programmation de scripts
  • Gestion des tables : principe des filtres
  • Mise en œuvre de filtres de recherche, paramètres des tables
  • Présentation des espaces de nommage

Cluster HBase

  • Fonctionnement en mode distribué
  • Fonctionnement indépendant des démons (HMaster, HRegionServer, Zookeeper)
  • Gestion de la consistance
  • Mise en évidence
  • Outils d’exploitation : hbck, hfile, …
  • Travaux pratiques : mise en oeuvre des splits sur un exemple de tables réparties. regionsplitter

Performances

  • Travaux pratiques avec hbase pe et hbase ltt
  • Mesures : mise en place de prométheus

Programmation

  • Introduction, les APIs (REST, Avro, Thrift, Java, Ruby, Spark…)
  • En exploitation : principe des accès JMX
  • Supervision automatisée
  • Démonstration avec Prométheus
  • Requêtage : exemple de programmation d’un client Java
  • Gestion des tables
  • Travaux pratiques : requêtage avec Spark

Qualité

Cette formation est accessible aux personnes en situation de handicap, nous contacter en cas de besoin d’informations complémentaires.

Programme mis à jour le