Elasticsearch es un servidor de búsqueda distribuido basado en Lucene que está disponible como software OpenSource. Es un motor de búsqueda de texto completo, escrito en Java, con una interfaz web HTTP y admite documentos JSON de forma nativa. Elasticsearch se puede utilizar para buscar todo tipo de documentos y proporciona una búsqueda escalable y una solución de búsqueda en tiempo real. Elasticsearch es utilizado por muchas organizaciones grandes Mozilla, Netflix, Stack Exchange, etc.
Graylog2 es un marco centralizado de administración y análisis de registros basado en Elasticsearch y MongoDB. Es capaz de analizar y acumular mensajes de registro de diferentes fuentes.
En este tutorial, lo guiaré a través de la instalación de Graylog2, Elasticsearch y MongoDB. Usaré Ubuntu 15.10 para esta instalación.
Requisito previo
- Ubuntu 15.10 - 64 bits
- 4 GB de RAM
- Privilegios de raíz
Paso 1 - Instalar MongoDB
MongoDB es una base de datos NoSQL orientada a documentos. El esquema de documentos de MongoDB es similar a JSON, se llama BSON. Instalaremos MongoDB 3 desde los repositorios de MongoDB Debian.
Agregue el repositorio, actualícelo e instálelo:
sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 7F0CEB10
echo "deb http://repo.mongodb.org/apt/debian wheezy/mongodb-org/3.0 main" > /etc/apt/sources.list.d/mongodb-org-3.0.list
apt-get update
Instale MongoDB con el siguiente comando apt:
apt-get install mongodb-org
A continuación, inicie mongodb y habilítelo para que se inicie en el momento del arranque:
systemctl start mongod
systemctl enable mongod
Paso 2:instalar Java
Todas las aplicaciones que usaremos en este tutorial están basadas en Java, por lo que debemos instalarlas ahora :). Necesitamos Java 7 o superior para la instalación de Graylog. Java 7 está disponible en el repositorio de ubuntu, así que vamos a instalarlo con este comando apt:
apt-get install openjdk-7-jre
Ahora comprueba la versión de Java:
java -version
Y debería obtener la versión de Java:
java version "1.7.0_91"
OpenJDK Runtime Environment (IcedTea 2.6.3) (7u91-2.6.3-0ubuntu0.15.10.1)
OpenJDK 64-Bit Server VM (build 24.91-b01, mixed mode)
Paso 3:instalar Elasticsearch
Instalaremos la versión 1.7 de elasticsearch en este tutorial.
Descarga y agrega la clave GPG al sistema:
sudo wget -qO - https://packages.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
Ahora agregue el repositorio de elasticsearch al directorio sources.list.d y ejecute apt-get update:
echo "deb http://packages.elastic.co/elasticsearch/1.7/debian stable main" > /etc/apt/sources.list.d/elasticsearch.list
apt-get update
Ahora instala el elasticsearch:
sudo apt-get install elasticsearch
Y cuando se haya completado la instalación, inicie el daemon de Elastcisearch y habilítelo para que se inicie en el momento del arranque:
sudo systemctl start elasticsearch
sudo systemctl enable elasticsearch
La instalación de Elastisearch finalizó y se inició el demonio. Ahora es el momento de configurarlo.
Edite el archivo de configuración en el directorio "/etc/elasticsearch/" con vim:
vim /etc/elasticsearch/elasticsearch.yml
Quite el comentario de la línea "cluster.name" y cambie el valor a "graylog2".
cluster.name = graylog2
Agregue la siguiente configuración para que los servidores de producción desactiven los scripts dinámicos y eviten la ejecución remota:
script.disable_dynamic: true
Guarde el archivo y salga.
Luego reinicie Elasticsearch y pruébelo con el comando curl:
systemctl restart elasticsearch
Estoy probando Elasticsearch con una conexión curl al puerto 9200:
curl -XGET 'http://localhost:9200/'
curl -XGET 'http://localhost:9200/_cluster/health?pretty=true'
Paso 4:instale el servidor Graylog2
El siguiente paso es instalar el servidor Graylog2. Usaré Graylog 1.3.2 para esta instalación. Descargue graylog2 con el comando wget, extráigalo y luego configúrelo.
Antes de comenzar con la instalación de pwgen, necesitamos pwgen para generar la contraseña aleatoria.
Instalar pwgen:
apt-get install pwgen
Ahora genere la nueva contraseña con el comando:
pwgen -N 1 -s 96
Mi código secreto:
GYXOjHVNjTv7EdDxUOYEvW9MFJHzqzJarjuar7bszkXr41xTA9Gb8ig8j9MbclWYdzVdis2BfggLbxGaMoxLw1FCZuPNo3Ua
y genere un nuevo hash sha256 con el siguiente comando:
echo -n mypassword | sha256sum
Esta es mi contraseña:
9235b36556923005015a6c2c18bf6f08a61daf54bfad653bde0ce6404000f0b1
A continuación, vaya al directorio /opt/ y descargue graylog-server con el comando wget:
cd /opt/
wget https://packages.graylog2.org/releases/graylog2-server/graylog-1.3.2.tgz
Extraiga graylog-server y cambie el nombre del directorio a graylog2:
tar -xzvf graylog-1.3.2.tgz
mv graylog-1.3.2/ graylog/
Se descarga el servidor Graylog y usamos el directorio /opt/ para su instalación.
Para configurar el servidor graylog, cree un nuevo directorio graylog y copie el archivo de configuración de muestra del servidor graylog en "server.conf".
mkdir -p /etc/graylog/server/
cp /opt/graylog/graylog.conf.example /etc/graylog/server/server.conf
Edite la configuración:
vim /etc/graylog/server/server.conf
Pegue la contraseña generada con pwgen en la línea password_secret:
password_secret = GYXOjHVNjTv7EdDxUOYEvW9MFJHzqzJarjuar7bszkXr41xTA9Gb8ig8j9MbclWYdzVdis2BfggLbxGaMoxLw1FCZuPNo3Ua
Pegue su contraseña sha256 generada, esta contraseña se usa para iniciar sesión en el panel de administración de graylog:
root_password_sha2 = 9235b36556923005015a6c2c18bf6f08a61daf54bfad653bde0ce6404000f0b1
Deshabilite la búsqueda de multidifusión de elasticsearch y agregue los hosts de unidifusión.
elasticsearch_discovery_zen_ping_multicast_enabled = false
elasticsearch_discovery_zen_ping_unicast_hosts = 127.0.0.1:9300
Cambie los fragmentos de búsqueda elástica a 1, porque instalamos todo en este único servidor.
elasticsearch_shards = 1
elasticsearch_replicas = 0
Guarde y salga del archivo.
Ahora inicie el servidor graylog ejecutando el archivo bin en el directorio graylog:
cd /opt/graylog/bin/
./graylogctl start
Ahora puede ver el archivo de registro del graylog-server en el directorio de registro, obsérvelo con el comando tail:
tail -f /opt/graylog/log/
Si debería ver esto en el archivo de registro:
Started REST API at <http://127.0.0.1:12900/>Graylog2 up and running.
Significa que el servidor graylog se ha iniciado correctamente.
Paso 5:instalar Graylog-Web
Descargue la interfaz web de graylog con el comando wget en el directorio /opt/:
cd /opt/
wget https://packages.graylog2.org/releases/graylog2-web-interface/graylog-web-interface-1.3.2.tgz
Extraiga la interfaz web de graylog y cámbiele el nombre a "graylog-web".
tar -xzvf graylog-web-interface-1.3.2.tgz
mv graylog-web-interface-1.3.2/ graylog-web/
Luego genere un nuevo código secreto de aplicación para graylog-web con pwgen:
pwgen -N 1 -s 96
Este es mi secreto:
zHg966Be4cBBLmasLiQm4mA0ziR5HziHq6RnfmgKIsjNtLCyHUvmxBMhzRkBclaE2IWyzJPJtPaQGEiLek0iJ3CaWh6kCDAE
Vaya al directorio graylog-web y edite el archivo de configuración:
cd graylog-web/
vim graylog
En la línea graylog2-server.uris, agregue la dirección del servidor graylog2:
graylog2-server.uris="http://127.0.0.1:12900/"
En la línea application.secret, pegue el código secreto generado antes:
application.secret="zHg966Be4cBBLmasLiQm4mA0ziR5HziHq6RnfmgKIsjNtLCyHUvmxBMhzRkBclaE2IWyzJPJtPaQGEiLek0iJ3CaWh6kCDAE"
Guarde el archivo y salga.
Ahora inicie graylog-web:
cd /opt/graylog-web/bin/
./graylog-web-interface -Dhttp.port=8080
Graylog-web se ejecutará en el puerto 8080.
Visite su servidor - http://myipaddress:8080/
Ahora inicie sesión con el usuario "admin" y su contraseña sha256.
Se ha instalado el servidor Graylog2 con Elasticsearch y la interfaz web de Graylog.
Conclusión
Elasticsearch es un motor de búsqueda de servidor distribuido con interfaz HTTP y soporte JSON. Podemos usarlo para buscar en todos los archivos de registro de un servidor cuando lo usamos junto con Graylog. Graylog es un software de gestión y análisis de registros basado en Elasticsearch y mongoDB. Podemos usar Elasticsearch, Graylog y MongoDB para construir un servidor de registro distribuido.