Come Creare e Utilizzare una Pipeline di Ingestione in Elasticsearch

In questo capitolo esploreremo le numerose funzionalità che Elastic Stack offre per gestire diversi casi d'uso, come la gestione dei dati provenienti da log di sistema, sensori e altri flussi di dati strutturati e non strutturati. Come vedrete, la funzionalità si estende su vari componenti, tra cui Elastic Agents, Beats, Logstash e Elasticsearch stesso. In particolare, ci concentreremo su alcuni aspetti chiave: la creazione di una pipeline di ingestione, l’arricchimento dei dati tramite un pipeline personalizzato, l’utilizzo dei processori per arricchire i dati prima dell’ingestione con Elastic Agent, e altro ancora. Ogni processo è fondamentale per la gestione efficiente e l’ottimizzazione dei dati.

Creazione di una Pipeline di Ingestione

Creazione della Pipeline di Ingestione

Per iniziare, è necessario un’istanza funzionante di Elastic Stack, che includa Elasticsearch, Kibana e Fleet Server. Una volta predisposta l’installazione, potremo creare una pipeline di ingestione personalizzata. In questo esempio, utilizziamo l’integrazione di Apache già configurata nel capitolo precedente per monitorare i log e le metriche del server Apache.

1. In Kibana, accedi alla sezione "Stack Management" e seleziona "Ingest Pipelines". Clicca su "Crea pipeline" e scegli l’opzione "Nuova pipeline". Assegna un nome alla pipeline, come ad esempio "apache-logs-custom", e fornisci una breve descrizione.

2. Aggiungi il primo processore: clicca su "Aggiungi un processore" e scegli "Set". Configura i parametri come segue: per il campo "Field name", scrivi "description", e per il valore inserisci "computed hash for Apache access documents". Dopo aver configurato questi dettagli, clicca su "Aggiungi processore".

3. Successivamente, aggiungi il processore "Fingerprint". Questo processo calcolerà un hash per il campo "host" di ciascun documento, creando un identificativo univoco. Imposta il metodo su "SHA-512" per una maggiore sicurezza. L’hash generato è utile per il controllo dell’integrità dei dati e la deduplicazione, garantendo che i dati siano univoci.

4. Una volta configurati i due processori, puoi cliccare su "Crea pipeline" per finalizzare la creazione della pipeline di ingestione.

Test e Validazione della Pipeline

Dopo aver creato la pipeline, è fondamentale testarla per assicurarsi che funzioni correttamente. Kibana offre un’interfaccia intuitiva per testare direttamente le pipeline di ingestione.

1. Accedi alla sezione "Discover" di Kibana e seleziona il dataset dei log di Apache. Filtra i log per "event.dataset: apache.access" per visualizzare solo i log pertinenti.

2. Espandi il primo documento nella tabella per esaminarne i dettagli e copia i valori di "_index" e "_id", che saranno necessari per testare la pipeline.

3. Torna alla sezione "Ingest Pipelines" in Kibana e seleziona la pipeline appena creata. Clicca su "Aggiungi documento" e inserisci i valori di "_index" e "_id". Successivamente, clicca su "Esegui la pipeline" per testare l’elaborazione del documento.

Se la pipeline è configurata correttamente, dovresti vedere i campi aggiunti, come "description" e "fingerprint", nei risultati.

Comportamento delle Pipeline di Ingestione

Le pipeline di ingestione di Elasticsearch sono strumenti potenti per eseguire trasformazioni comuni sui dati prima che vengano indicizzati. Una pipeline è una sequenza di processi configurabili, ognuno dei quali esegue una specifica trasformazione o modifica sui dati in ingresso. Utilizzando diversi processori, come quelli per calcolare gli hash, arricchire i dati o formattare le informazioni, è possibile garantire che i dati siano pronti per l’indicizzazione senza dover intervenire manualmente su ogni singolo record.

Le pipeline di ingestione sono particolarmente utili quando si lavora con flussi di dati in tempo reale, poiché consentono di applicare trasformazioni e arricchimenti ai dati mentre vengono raccolti, senza la necessità di operazioni aggiuntive o interventi esterni. La capacità di automatizzare questi passaggi rende più efficienti i flussi di lavoro, riducendo il carico operativo e aumentando la qualità e l’integrità dei dati.

Infine, un aspetto essenziale nell’utilizzo delle pipeline è la loro facilità di test e validazione, che consente di verificare rapidamente se i dati vengono trattati come previsto, riducendo i rischi di errori e incongruenze nei dati indicizzati.

Come esplorare i dati con ES|QL: Potenzialità e tecniche avanzate

ES|QL è un linguaggio di query sviluppato per Elastic Stack, progettato per fornire una sintassi unificata e un modello dati che semplifica l’interazione con i dati. Grazie alla sua versatilità, ES|QL consente di eseguire operazioni avanzate su Elasticsearch, come filtri, aggregazioni e analisi delle serie temporali, rendendolo uno strumento potente e completo per la gestione e l’analisi dei dati.

In questa sezione, esploreremo le principali funzionalità offerte da ES|QL, come la concatenazione dei comandi di elaborazione, le aggregazioni, e l’enrichment dei dati, che aprono nuove possibilità per gli utenti di manipolare i propri dati in modo efficace.

Comandi di elaborazione concatenati

Per esempio, supponiamo di avere un dataset di traffico e vogliamo filtrare i dati relativi al traffico congestionato, quindi limitare i risultati ai primi 50 documenti. La query potrebbe essere la seguente:

sql
Copy code
from metrics-rennes_traffic-raw | where traffic_status == "congested" | limit 50

In questa query, il comando where filtra i dati in base allo stato del traffico, mentre il comando limit limita i risultati a 50 righe. L’uso del pipe permette di concatenare facilmente i comandi senza bisogno di scrivere query separate.

Aggregazioni con ES|QL

sql
Copy code
from metrics-rennes_traffic-raw | where traffic_status == "congested" | stats avg_traveltime = avg(traveltime.duration) by denomination | sort avg_traveltime desc | limit 50

Questa query calcola il tempo medio di viaggio per ogni denominazione, ordina i risultati in ordine decrescente per tempo medio di viaggio, e limita l’output a 50 righe.

Un altro aspetto interessante di ES|QL è l’uso del comando eval, che permette di eseguire operazioni matematiche sui campi. Ad esempio, per convertire il tempo di viaggio medio in minuti, possiamo scrivere:

sql
Copy code
from metrics-rennes_traffic-raw | where traffic_status == "congested" | stats avg_traveltime = avg(traveltime.duration) by denomination | eval avg_traveltime_min = round(avg_traveltime/60) | sort avg_traveltime_min desc | keep denomination, avg_traveltime_min | limit 50

Qui, l’operazione di divisione per 60 converte il tempo medio da secondi a minuti, e il comando keep viene usato per selezionare le colonne da visualizzare nei risultati.

Enrichment dei dati

Una delle potenzialità più avanzate di ES|QL è la possibilità di arricchire i dati tramite il comando enrich. Questo comando consente di unire informazioni provenienti da diversi indici, migliorando la comprensione e l’analisi dei dati. Ad esempio, se vogliamo aggiungere informazioni relative ai codici postali e ai nomi dei comuni a un dataset di traffico, possiamo configurare una politica di arricchimento utilizzando un indice separato contenente tali informazioni. La query risultante potrebbe apparire così:

sql
Copy code
from metrics-rennes_traffic-raw | where traffic_status == "congested" | enrich rennes-data-enrich on insee with code_postal, nom_de_la_commune | keep average_vehicle_speed, code_postal, nom_de_la_commune, denomination | sort average_vehicle_speed desc | limit 50

Con il comando enrich, i dati relativi al traffico vengono arricchiti con il codice postale e il nome del comune, che vengono poi visualizzati insieme alle altre informazioni del dataset. L’arricchimento è particolarmente utile quando si desidera integrare informazioni geografiche o amministrative a dati di altro tipo, come nel caso dei codici INSEE utilizzati in Francia per identificare entità amministrative e geografiche.

Considerazioni aggiuntive

È altresì importante comprendere come ES|QL si integra con Kibana, in particolare con l’applicazione Discover, dove gli utenti possono eseguire le query in modo interattivo e visivo. La possibilità di esportare e condividere le query tramite GitHub è un ulteriore vantaggio che facilita la collaborazione e la replicabilità dei risultati.

Inoltre, ES|QL si distingue per la sua capacità di gestire grandi volumi di dati e di eseguire operazioni di aggregazione in tempo reale, rendendolo ideale per l'analisi di serie temporali e per l’elaborazione di grandi set di dati in contesti di business intelligence.

Come configurare il Fleet Server nell'Elastic Stack: Guida per l'installazione e la gestione

Fleet funge da componente centrale di gestione, offrendo una UI all'interno di Kibana per amministrare gli Agent e le loro configurazioni su larga scala. L'Elastic Agent, invece, è un binario unico che si occupa di raccogliere i dati, come log, metriche, eventi di sicurezza e molto altro, direttamente sui tuoi host. Il Fleet Server stabilisce la connessione tra l'Elastic Agent e Fleet, fungendo da piano di controllo per gli Agent Elastic. Questo server è una parte cruciale se si intende utilizzare Fleet per una gestione centralizzata.

Nel contesto di un'installazione self-managed, la configurazione di Fleet Server inizia con la predisposizione dell'infrastruttura adeguata: è necessario avere un cluster Elasticsearch attivo e Kibana connesso. Per un'installazione di prova, la configurazione è semplificata utilizzando la funzionalità "Quick Start" direttamente dall'interfaccia di Kibana. La procedura prevede la creazione di un'istanza di Fleet Server e l'assegnazione di un token di registrazione, che viene poi utilizzato per connettere i vari Elastic Agent alla piattaforma.

Nel caso di un'installazione in Elastic Cloud, il processo è notevolmente semplificato, poiché Elastic Cloud fornisce un server di integrazione che include il Fleet Server. Qui, l'utente può facilmente verificare lo stato del Fleet Server e degli agenti attraverso la sezione di gestione di Kibana, nella scheda "Agents", assicurandosi che lo stato degli agenti sia sano e operativo.

Tuttavia, è importante notare che la configurazione tramite il "Quick Start" utilizza certificati auto-firmati, una soluzione non adatta per ambienti di produzione, dove è necessario configurare certificati SSL validi per garantire la sicurezza delle comunicazioni.

Un ulteriore aspetto fondamentale riguarda la gestione dei backup dei dati. Configurare un repository di snapshot, utilizzando ad esempio Amazon S3, è una pratica altamente consigliata per garantire la sicurezza e la protezione dei dati raccolti. In questo contesto, dopo aver attivato un cluster Elastic Cloud, è necessario configurare un bucket S3 e associare i permessi di accesso corretti tramite IAM (Identity and Access Management) su AWS. Le credenziali di accesso devono essere memorizzate in modo sicuro, sia nel keystore di Elastic Cloud che nella configurazione di Elasticsearch per le installazioni on-premises. Questo processo permette di eseguire operazioni di backup e restore senza interruzioni, assicurando la continuità operativa dei sistemi.

Va sottolineato che la gestione delle configurazioni di Fleet Server e dei repository di snapshot non è un'operazione da prendere alla leggera, specialmente in ambienti di produzione. La sicurezza dei dati e l'affidabilità del sistema dipendono direttamente dalla corretta gestione di questi componenti. In contesti di utilizzo su larga scala, è necessario considerare anche la possibilità di implementare strategie di alta disponibilità e bilanciamento del carico, per evitare punti di fallimento singoli e garantire una resilienza complessiva del sistema.