Big Data supervision : Grafana Kibana Graphite Prometheus

Connaître les outils de supervision d’une infrastructure Big Data

  • Filière :

    Gestion de données

  • Sous-filière :

    NoSql & Big Data

  • Référence

    DB-BDS

  • Durée

    3 jours (21 h)

  • Prix par personne HT

    2 230 € HT

Objectifs pédagogiques

  • Connaître les outils et mécanismes permettant de superviser des fermes Big Data
  • Identifier les critères de choix

Public cible

  • Architectes Big Data
  • Chefs de projets
  • Exploitants
  • Toute personne souhaitant mettre en oeuvre un système de supervision d »une ferme Big Data

Pré-requis

Connaissance générale des systèmes dinformations et des bases de données

Programme de la formation

Supervision : définitions

  • Les objectifs de la supervision, les techniques disponibles.
  • La supervision d’une ferme BigData.
  • Objets supervisés.
  • Les services et ressources.
  • Protocoles d’accès.
  • Exporteurs distribués de données.
  • Définition des ressources à surveiller.
  • Journaux et métriques.
  • Application aux fermes BigData : Hadoop, Cassandra, HBase, MongoDB

Mise en oeuvre

  • Besoin de base de données avec agents distribués, de stockage temporel (timeseriesDB)
  • Produits : Prometheus, Graphite, Influxdb, ElasticSearch.
  • Présentation, architectures.
  • Les sur-couches : Kibana, Grafana.

Graphite

  • Composants, architecture
  • Modèle de données et mesures
  • Format des données stockées, notion de timestamp
  • Calculs de l’espace disque nécessaire
  • Architecture de production.

InfluxDB

  • Présentation, structure, évolution, installation
  • Bucket, token, organisation
  • Plugin Telegraph, architecture
  • Interface graphique, alertes, langage flux
  • Démonstration avec Jolokia2 et Cassandra.

JMX

  • Principe des accès JMX. MBeans.
  • Visualisation avec jconsole et jmxterm.
  • Suivi des performances cassandra : débit d’entrées/sorties, charges, volumes de données, tables, …

Prometheus

  • Installation et configuration de base
  • Définition des ressources supervisées, des intervalles de collecte
  • Types de mesures : compteurs, jauges, histogrammes, résumés.
  • Notions d’instances, de jobs.
  • Démarrage du serveur Prometheus
  • Premiers pas dans la console web, et l’interface graphique.
  • Le langage PromQL
  • Node Exporter. JMX Exporteur. Mongodb Exporteur.
  • Démonstration avec Cassandra
  • Configuration des agents sur les noeuds de calculs.
  • Agrégation des données JMX. Expressions régulières.
  • Requêtage.
  • Visualisation des données
  • Comparaison avec Graphite et InfluxDB.

Exploration et visualisation des données

  • Mise en oeuvre de Grafana.
  • Installation, configuration.
  • Pose de filtres sur Prometheus et remontée des données.
  • Etude des différents types de graphiques disponibles,
  • Agrégation de données.
  • Appairage des données entre Prométheus et Grafana.
  • Visualisation et sauvegarde de graphiques,
    création de tableaux de bord à partir des graphiques.

Kibana, installation et configuration

  • Architectures, paramétrages
  • Installation, configuration du mapping avec Elasticsearch.
  • Mapping automatique ou manuel
  • Démonstration avec Cassandra
  • Injection des données avec Logstash, Filebeat et Metricbeat.
  • Configuration des indexes
  • Exploration des données,création de graphiques, de tableaux de bord

Qualité

Cette formation est accessible aux personnes en situation de handicap, nous contacter en cas de besoin d’informations complémentaires.

Programme mis à jour le