Pandora FMSApache Hbase Plugin

Manual Del Administrador

Índice de contenido1. Introducción......................................................................................................................................32. Matriz de Compatibilidad.................................................................................................................33. Modulos generados por el Plugin.....................................................................................................34. Pre requisitos....................................................................................................................................45. Configuración especifica de Hbase..................................................................................................56. Configuración del Plugin..................................................................................................................57. Ejecución del Plugin.........................................................................................................................6

Page 2

1. INTRODUCCIÓN

El principal objetivo de este documento es la descripción de los procedimientos de monitorización de Apache Hbase en sistemas operativos de tipo Linux.

Para extraer la información este plugin utiliza:

• Comandos específicos del sistema (ps, netstat, grep, wc, etc) sin necesidad de instalar librerías adicionales.

• El servidor de información de Hbase mediante el protocolo HTTP.

2. MATRIZ DE COMPATIBILIDAD

La matriz de compatibilidad para el plugin Apache Hbase es la siguiente:

Sistemas donde ha sido probado • Apache Hbase 0.94.18 (Standalone version)

Sistemas donde deberíafuncionar • Apache Hbase 0.94.18 o superior

3. MODULOS GENERADOS POR EL PLUGIN Este plugin devuelve 18 modulos. Todos extraen información importante de rendimiento. Puede fijar umbrales manualmente.

• Hbase Alive: Muestra si Hbase esta corriendo. Si adopta estado critico se corta la monitorización para el resto de los modulos.

Page 3

• Hbase Connections: Muestra la cantidad de conexiones de red.

• Hbase CPU Usage: Muestra el porcentaje de CPU utilizado por HBase.

• Hbase Memory Usage: Muestra el porcentaje de Memoria utilizada por Hbase.

• Hbase Heap Memory Used: Muestra el porcentaje de memoria heap utilizado por Hbase.

• Hbase Process State: El estado del proceso Hbase

• Hbase Tables: Numero de tablas en Hbase.

• Hbase Time in CPU: Tiempo de CPU para el proceso de Hbase.

• Hbase/Region Servers Online: Numero de Servidores de Región Activos.

• Hbase/Region Server Request per second: Petición por segundo del servidor de región

• Hbase Log Warning Messages: Numero de mensajes de warning en el log de Hbase.

• Hbase Log Errors: Numero de mensajes de error en el log de Hbase

• Hbase/Region Server Cache Hit Ratio: Muestra el porcentaje de Cache hit ratio para el servidor de Region.

• Hbase/Region Server Flush Queue Size: Muestra el Numero de regiones encoladas.

• Hbase/Region Server Compaction time: Longitud de la cola de compactación. Este es el numero de campos en el RegionServer designadas para compactación.

• Hbase/Region Server Memstore Size: Suma de todos los tamaños de memstore en el Region Server.

• Hbase/Region Server Read Request: Numero de peticiones de lectura para el Region Server.

• Hbase/Region Server Write Request: Numero de peticiones de escritura para el Region Server.

• Hbase/Region Server Number of Online Regions: Numero de las regiones activas en el RegionServer

4. PRE REQUISITOS

La monitorización de Hbase se basa en la recolección de información del servidor de información de Hbase Master y también mediante comandos del sistema (i.e, ps, netstat, grep, etc).

Los pre requisitos para que este plugin funcione correctamente son los siguientes:

• Hbase debe ser desempaquetado en /etc/hbase.

• Un agente local de pandora debe ser instalado y configurado.

• El fichero de configuración de Hbase debe estar en la siguiente ruta: /etc/hbase/logs/

• Es precisa versión 7 o superior de Java para ejecutar Hbase.

Page 4

• La variable de entorno JAVA_HOME debe ser definida en el fichero /etc/profile/

5. CONFIGURACIÓN ESPECIFICA DE HBASE

Para poder recoger la información correctamente a traves del servidor de información de Hbase es necesaria una configuración especifica de Hbase.

En primer lugar Hbase debe ser desempaquetado en /etc. La carpeta donde debe ser desampaquetado se debera llamar “hbase” .

Antes de iniciar Hbase se debera modificar el fichero de configuración de Hbase, localizado en /etc/hbase/conf dependiendo de nuestras necesidades.

Es preciso editar/añadir las siguientes lineas en hbase-site.xml:

<property>

<name>hbase.master.info.port</name>

<value>16010</value>

</property>

<property>

<name>hbase.master.info.bindAddress</name>

<value>127.0.0.1</value>

</property>

6. CONFIGURACIÓN DEL PLUGIN

Para configurar correctamente el plugin hay que seguir los siguientes pasos:

• Mover el script hbase_plugin.sh de la carpeta por defecto de descarga al directorio etc/pandora/plugins/

• Asignar los permisos necesarios a hbase.pl script:

chmod +x hbase_plugin.pl

• Al final del fichero de configuración pandora_agent.conf añadir la siguiente línea:

module_plugin /etc/pandora/plugins/hbase_plugin.pl

• Reinciar el proceso de dicho agente: sudo service pandora_agent_daemon restart

Page 5

7. EJECUCIÓN DEL PLUGIN

Si todo funciona correctamente debera poder ver la siguiente vista en la consola con todos los modulos:

Page 6