Come costruire un'applicazione di ricerca con Elasticsearch: Creazione e integrazione di Search Applications

Le applicazioni di ricerca basate su Elasticsearch offrono un potente strumento per integrare esperienze di ricerca avanzate all'interno delle proprie applicazioni, senza la necessità di un'approfondita conoscenza del linguaggio di query DSL di Elasticsearch. La creazione di un'applicazione di ricerca, infatti, rappresenta un modo semplice e immediato per sfruttare l'intero potenziale di Elasticsearch, inclusi gli indici, i template di ricerca e un'interfaccia utente intuitiva in Kibana per l'anteprima dei risultati di ricerca.

Nel contesto di Elasticsearch, una Search Application agisce come un layer di astrazione sopra gli indici, facilitando l'integrazione delle funzionalità di ricerca con il frontend di un'applicazione. È possibile configurare una Search Application direttamente da Kibana, scegliendo gli indici da interrogare e applicando template di ricerca preimpostati per ottimizzare le query. Questa configurazione risulta particolarmente utile per sviluppatori che vogliono implementare un'esperienza di ricerca personalizzata senza dover gestire direttamente la complessità delle query Elasticsearch.

1. Accedere a Kibana e selezionare la sezione "Search Applications" dal menu di ricerca. Qui si troverà l'opzione per creare una nuova Search Application.

2. Selezionare gli indici da interrogare, come ad esempio un indice basato su un dataset di film.

3. Assegnare un nome all'applicazione di ricerca e cliccare su "Crea" per finalizzare la configurazione.

Una volta creata, la Search Application sarà visibile nella lista delle applicazioni, e sarà possibile cliccare sul suo nome per accedere a una pagina dedicata dove è possibile eseguire le query di ricerca. Ad esempio, effettuando una ricerca per il termine "Comedy", si vedranno i risultati filtrati in base alla configurazione degli indici e dei template applicati.

L'efficacia di una Search Application si manifesta quando si integrano template di ricerca personalizzati, come quello creato precedentemente, per ottimizzare le query. Questi template permettono di pre-renderizzare le richieste di ricerca, rendendo l'intera esperienza più veloce ed efficiente. Per esempio, se si desidera eseguire una ricerca con una query complessa, è sufficiente applicare un template già definito, come nel caso della query di esempio per cercare "space" nei film, che restituisce 5 aggregazioni di risultati.

Per una gestione avanzata dell'esperienza di ricerca, si possono abilitare funzionalità di sicurezza, come la gestione delle API keys, e si può anche configurare l'applicazione per supportare Cross-Origin Resource Sharing (CORS), particolarmente utile quando l'applicazione frontend è separata dal backend di Elasticsearch. L'abilitazione di CORS permette di fare richieste API direttamente dal browser, estendendo la flessibilità dell'applicazione a scenari multi-piattaforma.

Tuttavia, l'implementazione di una Search Application non si limita alla sua semplice creazione. Un passo successivo fondamentale è l'integrazione dell'applicazione di ricerca con un client frontend. In questo contesto, Elasticsearch offre un client Search Application predefinito che può essere utilizzato per costruire un'interfaccia di ricerca minimale ma funzionale. Un esempio di applicazione frontend basato su un dataset di film può essere trovato nel repository GitHub, dove viene illustrato come configurare il client con le informazioni necessarie, come l'endpoint di Elasticsearch e la chiave API generata.

Una volta configurato il client, sarà possibile eseguire chiamate API per interagire con i dati dell'indice direttamente dal browser, aggiornando dinamicamente i risultati della ricerca senza dover fare richiesta al server. Per farlo, bisognerà assicurarsi che CORS sia abilitato su Elasticsearch, modificando i parametri necessari nel file di configurazione elasticsearch.yml per permettere le richieste dal dominio del frontend.

L'adozione di una Search Application permette quindi di creare un'esperienza di ricerca potente e scalabile in modo semplice, garantendo una grande versatilità nella gestione delle query e nella presentazione dei dati. Si tratta di una soluzione ideale per applicazioni web che necessitano di una ricerca rapida, ma anche sicura e altamente personalizzabile, con la possibilità di estendere il tutto integrando comportamenti avanzati come il tracciamento delle query degli utenti per migliorare continuamente l'esperienza di ricerca.

Come configurare Metricbeat per raccogliere i dati di Apache Tomcat utilizzando Jolokia e inviarli a Elasticsearch

Quando si desidera raccogliere e analizzare i dati temporizzati da fonti diverse, Elastic Agent è spesso la scelta principale, grazie alla sua integrazione diretta con Elasticsearch. Tuttavia, in alcuni casi, quando non è disponibile un'integrazione Elastic Agent per una determinata fonte di dati, Beats rappresenta un'alternativa naturale ed efficace. Beats è una suite di "data shipper" leggeri che permette di raccogliere e trasportare i dati da varie fonti verso Elasticsearch per l'analisi e la visualizzazione.

Un esempio pratico di utilizzo di Beats per raccogliere i dati da una fonte di dati senza un'integrazione Elastic Agent disponibile, è l'uso di Metricbeat per monitorare i metriche di Apache Tomcat. In questo scenario, invece di affidarsi all'Elastic Agent, si ricorre a Metricbeat e al modulo Tomcat, che raccoglie i dati tramite Jolokia, un’interfaccia HTTP che semplifica la gestione e il monitoraggio delle applicazioni Java interagendo con i MBean JMX.

Preparazione all'installazione

Per raccogliere i dati da Apache Tomcat, è necessario avere una versione supportata del server Tomcat, nella nostra configurazione utilizziamo Tomcat 9.x. Inoltre, è fondamentale che il server sia configurato per supportare Jolokia, che funge da "ponte" tra Apache Tomcat e Metricbeat, permettendo di raccogliere i metrici tramite le interfacce JMX.

La configurazione prevede l'installazione sia di Apache Tomcat che di Jolokia. Esistono diversi metodi per installare Apache Tomcat, ma in questa guida si utilizza la soluzione offerta dal Google Cloud Platform Marketplace, che consente di creare una macchina virtuale Ubuntu preconfigurata con Apache Tomcat 9. In alternativa, per chi preferisce una gestione autonoma, è possibile seguire la guida ufficiale di Apache Tomcat per un'installazione manuale.

Installazione di Jolokia

Configurazione di Metricbeat

La configurazione di Metricbeat inizia con l'installazione del pacchetto appropriato per il sistema operativo in uso. Nell'esempio specifico, si utilizza Ubuntu, e il pacchetto di Metricbeat viene scaricato e installato tramite il comando:

bash
Copy code
$ curl -L -O https://artifacts.elastic.co/downloads/beats/metricbeat/metricbeat-8.12.2-amd64.deb
$ sudo dpkg -i metricbeat-8.12.2-amd64.deb

Abilitazione del modulo Tomcat e Jolokia

Metricbeat offre un modulo specifico per raccogliere le metriche di Apache Tomcat. Per abilitare questo modulo, basta eseguire il comando:

bash
Copy code
$ sudo metricbeat modules enable tomcat

yaml
Copy code
- module: jolokia
  metricsets: ["jmx"]
  period: 10s
  hosts: ["localhost"]
  namespace: "metrics"
  path: "/jolokia/?ignoreErrors=true&canonicalNaming=false"
  jmx.mappings:
    - mbean: 'java.lang:type=Memory'
      attributes:
        - attr: HeapMemoryUsage
          field: memory.heap_usage
        - attr: NonHeapMemoryUsage
          field: memory.non_heap_usage

Questa configurazione mappa gli attributi JMX di Tomcat a uno schema comune di Elastic, il che permette a Elasticsearch di processare e archiviare i dati in modo strutturato.

Avvio di Metricbeat e monitoraggio dei dati

Una volta configurato Metricbeat e il modulo Jolokia, si esegue il comando per configurare gli asset necessari (visualizzazioni, dashboard e template degli indici):

bash
Copy code
$ sudo metricbeat setup -e

A questo punto, si avvia Metricbeat con il comando:

bash
Copy code
$ sudo service metricbeat start

Inoltre, il modulo di sistema di Metricbeat è abilitato per impostazione predefinita e consente di monitorare anche la salute del sistema, visibile nell’interfaccia di osservabilità di Kibana, sotto la sezione "Infrastructure", dove è possibile visualizzare i metrici relativi all'infrastruttura del server.

Come funziona tutto questo

Come Creare e Utilizzare i Campi Runtime in Kibana: Un Approccio Pratico

I campi runtime in Kibana rappresentano uno strumento potente per analizzare e visualizzare i dati senza la necessità di modificare la struttura del database o eseguire un riindicizzazione. In questo contesto, i campi runtime vengono creati in modo dinamico durante l'esecuzione delle query, il che consente una flessibilità significativa, specialmente in ambienti in cui i dati sono in continua evoluzione o provengono da fonti eterogenee.

Nel nostro esempio, abbiamo creato due campi runtime: hour_of_day e day_of_week, derivati dal campo @timestamp. Questi campi, che vengono calcolati al momento della query, sono stati utili per analizzare la distribuzione temporale dei dati senza necessità di riindicizzare il dataset, il che offre enormi vantaggi in termini di prestazioni e risparmio di spazio.

Per la creazione di questi campi runtime, abbiamo utilizzato uno script in Painless, il linguaggio di scripting sviluppato per Elasticsearch, che permette di manipolare i dati con una sintassi simile a Groovy. In particolare, nel caso del campo hour_of_day, il linguaggio Painless ci ha permesso di estrarre l'ora dal campo @timestamp, di adattare il fuso orario e di formattarlo correttamente come stringa. L'uso della funzione emit() è stato fondamentale per assegnare il valore al campo runtime in modo che fosse visibile durante le ricerche.

Una delle principali forze dei campi runtime è la loro versatilità. Essi possono essere utilizzati per ottenere informazioni da campi disabilitati nel documento _source, esplorare dati non strutturati o modificare il valore di un campo indicizzato senza dover rielaborare i dati. Ad esempio, se desideriamo ottenere informazioni più granulari da un campo temporale, possiamo creare un campo runtime che restituisca la parte desiderata della data, come nel caso di hour_of_day o day_of_week.

Esistono diversi modi per definire i campi runtime. Oltre alla creazione diretta tramite l'interfaccia utente di Kibana, è possibile definire un campo runtime direttamente in una query di ricerca tramite la clausola runtime_mappings. Questo approccio permette di aggiungere dinamicamente il campo senza dover modificare la configurazione del cluster o dei mapping di indici. Inoltre, è possibile aggiungere un campo runtime alla mappatura di un indice per rendere il campo disponibile a tutte le ricerche eseguite su quel particolare indice.

Tuttavia, è importante essere consapevoli delle implicazioni delle performance nell'utilizzo dei campi runtime. Poiché questi vengono calcolati per ogni documento ad ogni esecuzione di ricerca, possono diventare inefficienti se lo script associato è complesso o poco ottimizzato. Per evitare rallentamenti nelle performance, è consigliabile utilizzare i campi runtime per operazioni relativamente semplici o per prototipazioni rapide. Quando possibile, sarebbe preferibile calcolare i valori dei campi all'interno di una pipeline di ingestione, riducendo così il carico computazionale durante la ricerca.

I campi runtime sono particolarmente utili in situazioni specifiche, come quando si desidera controllare l'esplosione dei mapping, risparmiare spazio evitando l'indicizzazione di determinati campi, o quando si ha bisogno di un campo calcolato che dipenda da dati disponibili solo al momento della query. Inoltre, sono ideali per l'esplorazione di dati non strutturati o quando si prototipa un campo che successivamente verrà trasformato in un campo indicizzato permanente.

Un altro vantaggio significativo nell'uso dei campi runtime è la loro capacità di adattarsi facilmente a nuove esigenze senza compromettere la struttura dell'indice. Questo li rende strumenti ideali per esplorare nuovi dataset o testare concetti senza dover ristrutturare l'intero sistema. Tuttavia, quando si decide di passare a una versione più stabile dei dati, potrebbe essere necessario convertire il campo runtime in un campo indicizzato per garantire migliori performance nelle ricerche future.

Kibana Maps permette di aggiungere diversi tipi di layer, come documenti e cluster, e di personalizzare ogni layer in base alle specifiche esigenze. Per esempio, la colorazione dei simboli in base alla velocità media o la visualizzazione dei limiti di velocità massima aiuta a rendere immediatamente comprensibili i dati geospaziali. I layer aggiuntivi possono essere combinati per ottenere visualizzazioni sempre più ricche, creando una rappresentazione dettagliata e facilmente interpretabile dei dati.

In conclusione, l'utilizzo dei campi runtime in Kibana e la creazione di mappe dinamiche offrono potenti strumenti per l'analisi e la visualizzazione dei dati, permettendo agli utenti di adattarsi rapidamente a nuove esigenze senza compromettere l'efficienza e la performance del sistema. La comprensione delle implicazioni di performance e l'uso consapevole di questi strumenti è essenziale per sfruttare al meglio le potenzialità di Kibana in scenari complessi.

Come Gestire l’Accesso ai Dati in Kibana: Privilegi e Sicurezza Avanzata

In un sistema complesso come Elastic Stack, la gestione dei privilegi di accesso è cruciale per mantenere la sicurezza e la conformità dei dati. In particolare, i privilegi di cluster, indice, spazio in Kibana e altre funzioni devono essere configurati accuratamente per assicurarsi che gli utenti abbiano accesso solo alle informazioni necessarie per il loro lavoro. L'amministrazione dei privilegi in Kibana si fonda su un sistema di ruoli (RBAC, Role-Based Access Control), che consente di assegnare diritti specifici per ciascun tipo di operazione.

I privilegi di cluster definiscono il livello di accesso che un utente ha sulle operazioni e le impostazioni globali del cluster. Tra questi privilegi si trovano la possibilità di monitorare lo stato e le performance del cluster, gestire utenti e ruoli, eseguire operazioni amministrative e gestire funzionalità avanzate come le politiche di gestione del ciclo di vita degli indici (ILM) e gli snapshot. I privilegi di indice, invece, determinano le azioni che un utente può compiere sugli indici di Elasticsearch, come la lettura o la scrittura dei dati, la gestione delle impostazioni degli indici e l'esecuzione di azioni a livello di indice.

Un elemento chiave per il controllo dell'accesso è la definizione di ruoli personalizzati. Questi ruoli, che possono essere creati attraverso l'interfaccia grafica di Kibana o tramite l'API REST di Kibana, permettono una gestione molto dettagliata dei permessi. In scenari più complessi, ad esempio quando si utilizzano applicazioni di ricerca o applicazioni di terze parti che si appoggiano su Elasticsearch, può essere necessario creare ruoli specifici per Elasticsearch, senza dover includere privilegi di Kibana.

La sicurezza avanzata offerta da Elastic Stack permette inoltre di aggiungere restrizioni a livello di documento, campo e sotto-funzionalità. Ad esempio, la sicurezza a livello di campo consente di limitare l'accesso a specifici campi di un documento, mentre la sicurezza a livello di documento permette di filtrare l'accesso a singoli documenti all'interno di un indice. Queste opzioni di granularità offrono una gestione molto più precisa di chi può visualizzare o interagire con determinati dati.

Un caso tipico di utilizzo di queste funzioni avanzate è quello di dover limitare l'accesso a dati sensibili, come i log di Kubernetes. In questo caso, è possibile utilizzare la sicurezza a livello di documento per consentire l'accesso solo a documenti che corrispondono a determinati criteri, come quelli relativi a Kubernetes. Con l'API di Elasticsearch, è possibile configurare query compatibili con Query DSL per applicare questi filtri in modo molto specifico, garantendo che gli utenti possano visualizzare solo i dati che sono rilevanti per loro.

Per migliorare ulteriormente il controllo dell'accesso, è possibile utilizzare le funzionalità avanzate come la gestione della sicurezza a livello di campo e documento, applicando restrizioni più precise rispetto alla gestione dei soli privilegi di indice. Ad esempio, in un caso pratico, un ruolo come "cookbook_business_reader" potrebbe essere configurato per limitare l'accesso a determinati campi di un indice, escludendo la visualizzazione di dati sensibili come il campo "insee". In alternativa, per un altro ruolo, come "cookbook_observability_reader", potrebbe essere applicata la sicurezza a livello di documento per consentire l'accesso esclusivo ai log di Kubernetes, filtrando tutti gli altri tipi di dati.

La gestione dei privilegi di accesso in Kibana non riguarda solo la sicurezza dei dati ma anche l'efficienza operativa. Limitare l'accesso ai dati pertinenti per ogni utente non solo contribuisce a migliorare la sicurezza, ma anche a ottimizzare le operazioni, poiché gli utenti non sono distratti da dati non rilevanti. Inoltre, l'implementazione di questi ruoli e privilegi consente di adottare pratiche di gestione del rischio più solide, riducendo le possibilità di esposizione a dati sensibili e migliorando la conformità alle normative di protezione dei dati.

In sintesi, la gestione dei privilegi in Kibana attraverso ruoli personalizzati e l'uso di funzioni avanzate come la sicurezza a livello di documento e campo offre agli amministratori un potente strumento per mantenere un controllo preciso sugli accessi e sulla visibilità dei dati. Questo sistema di controllo fine consente una protezione robusta delle informazioni, minimizzando i rischi associati a potenziali violazioni della sicurezza o a errori operativi.