ELK Stack

Introducción a ELK y sus componentes

El Stack ELK es un conjunto de tres tecnologías open source desarrolladas por la empresa de software Elastic muy popular. Trabajan de forma complementaria para proporcionar un sistema de gestión de logs centralizado y escalable adecuado para arquitecturas big data. Incluye un sistema de almacenamiento distribuido, un motor de búsqueda y de procesamiento, y un sistema de visualización.

Elasticsearch

Elasticsearch es una base de datos NoSQL open source muy popular en Big Data, basado en Apache Lucene como motor de búsqueda.
La empresa que da soporte al producto es Elastic, de la que forman parte la mayor parte de los committers del proyecto, que está escrito en el lenguaje de programación Java.

Lucene es un proyecto de la Apache Software Foundation que implementa un motor de búsqueda de texto.
Este proyecto se integró en Elasticsearch y su uso se ha extendido al entorno corporativo.

Además, Elasticsearch nos permite:

• Almacenar datos de una forma escalable.
• Realizar búsquedas de texto más avanzadas que SQL o expresiones regulares.
• Analizar logs y datos de métricas.
• Reconocer lexemas, abreviaturas, posiciones de las palabras, frecuencias de aparición, etc.

Logstash

Logstash es la pieza encargada de transformar y almacenar los logs de las aplicaciones.
Está desarrollado en JRuby.

Las transformaciones suelen normalizar y agregar logs de diversas fuentes, para tener un punto de almacenamiento unificado y prepararlos para su análisis posterior.

Su lógica está basada en el concepto de pipeline de datos (ETL), que consta de:

1. Fuente de datos
2. Filtro
3. Destino

El flujo es el siguiente:

• Se recopilan los datos de la fuente.
• Logstash los filtra mediante expresiones regulares y operaciones definidas.
• Se escriben en el sistema destino con la estructura que necesitemos.

Kibana

Kibana es el software que nos permite crear visualizaciones y dashboards para mostrar los logs de manera clara y amigable.
Se conecta directamente a un índice de Elasticsearch.

Características principales:

• Proporciona una interfaz web para configurar representaciones y filtros.
• Los paneles incluyen tablas y gráficos interactivos en tiempo real.
• Ofrece el lenguaje de consulta KQL (Kibana Query Language) para realizar búsquedas sobre los datos.

Arquitectura del sistema ELK y herramientas utilizadas

El funcionamiento de ELK es el siguiente:

Instalaremos un contenedor docker con el sistema ELK, el cual tiene la siguiente estructura:

SI QUIERES VER LOS PASOS DE INSTALACIÓN TE DEJO EL PDF COMPLETO

Autor: Joaquín Vera Fenollar