BigData supervision:Grafana Kibana Graphite Prometheus

Connaître les outils de supervision d’une infrastructure Big Data

  • Filière :

    Gestion de données

  • Sous-filière :

    NoSql & Big Data

  • Référence

    DB-BDS

  • Durée

    3 jours (21 h)

  • Prix par personne HT

    2 310 € HT

Objectifs pédagogiques

Connaître les outils et mécanismes permettant de superviser des fermes BigData. Identifier les critères de choix.

Public cible

Exploitants, architectes BigData, chefs de projet et toute personne souhaitant mettre en oeuvre un système de supervision d’une ferme BigData.

Pré-requis

Connaissance générale des systèmes d’informations et des bases de données.

Modalités d'évaluation

L’évaluation des acquis se fait tout au long de la session au travers d’ateliers de mise en pratique des notions et concepts abordés pendant la formation.

Programme de la formation

Supervision : définitions

  • Les objectifs de la supervision, les techniques disponibles. La supervision d’une ferme BigData.
  • Objets supervisés. Les services et ressources. Protocoles d’accès. Exporteurs distribués de données.
  • Définition des ressources à surveiller. Journaux et métriques.
  • Application aux fermes BigData : Hadoop, Cassandra, HBase, MongoDB

Mise en oeuvre

  • Besoin de base de données avec agents distribués, de stockage temporel (timeseriesDB)
  • Produits : Prometheus, Graphite, Influxdb, ElasticSearch.
  • Présentation, architectures.
  • Les sur-couches : Kibana, Grafana.

Graphite

  • Composants, architecture
  • Modèle de données et mesures
  • Format des données stockées, notion de timestamp
  • Calculs de l’espace disque nécessaire
  • Architecture de production.

InfluxDB

  • Présentation, structure, évolution, installation
  • Bucket, token, organisation
  • Plugin Telegraph, architecture
  • Interface graphique, alertes, langage flux
  • Démonstration avec Jolokia2 et Cassandra.

JMX

  • Principe des accès JMX. MBeans. Visualisation avec jconsole et jmxterm.
  • Suivi des performances cassandra : débit d’entrées/sorties, charges, volumes de données, tables, …

Prometheus

  • Installation et configuration de base
  • Définition des ressources supervisées, des intervalles de collecte
  • Types de mesures : compteurs, jauges, histogrammes, résumés.
  • Notions d’instances, de jobs.
  • Démarrage du serveur Prometheus
  • Premiers pas dans la console web, et l’interface graphique.
  • Le langage PromQL
  • Node Exporter. JMX Exporteur. Mongodb Exporteur.
  • Démonstration avec Cassandra
  • Configuration des agents sur les noeuds de calculs. Agrégation des données JMX. Expressions régulières.
  • Requêtage. Visualisation des données
  • Comparaison avec Graphite et InfluxDB.

Exploration et visualisation des données

  • Mise en oeuvre de Grafana. Installation, configuration.
  • Pose de filtres sur Prometheus et remontée des données.
  • Etude des différents types de graphiques disponibles,
  • Agrégation de données. Appairage des données entre Prométheus et Grafana.
  • Visualisation et sauvegarde de graphiques, création de tableaux de bord à partir des graphiques.

Kibana, installation et configuration

  • Architectures, paramétrages
  • Installation, configuration du mapping avec Elasticsearch.
  • Mapping automatique ou manuel
  • Démonstration avec Cassandra
  • Injection des données avec Logstash, Filebeat et Metricbeat.
  • Configuration des indexes
  • Exploration des données,création de graphiques, de tableaux de bord

Programme mis à jour le