I sistemi IT producono grandi quantita’ di log file, strumenti utilissimi per garantire la sicurezza dei dati e la stabilita’ delle applicazioni. Pero’, in un ecosistema complesso, la quantita’ di file e la loro posizione, possono diventare due scogli insormontabili da superare, nel caso in cui sia necessario consultare i dati in modo efficiente. Ecco che entrano in gioco i sistemi di log management, che grazie a tecnologie come quella di Syslog-ng, sono in grado di aggirare il problema. Nell’articolo vediamo in che modo una soluzione di gestione dei log file possa essere un investimento prezioso.

Cos’e’ un log file, a cosa serve

Ogni azione che viene compiuta su un macchina o da essa, puo’ essere registrata in un file log. Per capire cosa sia, immaginiamo che si tratti del diario di bordo di una nave, in cui viene annotato ogni singolo fatto accaduto sull’imbarcazione. In effetti, il nome deriva proprio dall’ambiente nautico, in cui era comune l’uso di un logbook. Questo non era altro che un diario in cui venivano segnati, a intervalli regolari, i dati di navigazione: velocita’, forza e direzione del vento, condizione delle acque e cosi’ via.

Con il concetto di registrare informazioni utili in un file consultabile successivamente, il log file contiene ogni cambiamento, azione, stato o modifica per motivi di sicurezza. Nel caso in cui qualcosa dovesse andare storto, e’ semplice capire cosa sia successo consultando un log file. Questo e’ particolarmente vero quando parliamo di server e di applicazioni, diffusione dei dati, sicurezza IT, etc.

Quantita’ di log file

Alcune compagnie hanno fino a qualche decina di server, altre ne anno centinaia, alcune migliaia e ce ne sono altre che gestiscono decine di migliaia di server. Questi sistemi producono un numero enorme di dati sotto forma di log file.

A complicare le cose ci si mette l’architettura informatica. Molto spesso le macchine sono organizzate in sottosistemi, sia per motivi di comodita’ che di sicurezza. Nel malaugurato caso in cui qualcuno volesse consultare i log file in seguito a un incidente, ci sarebbe da disperarsi. Quale server conserva il dato che ci interessa? In quale sottosistema si trova? Non sono domande a cui si riesce a dare una risposta semplice, soprattutto se non si conosce l’origine del problema.

La gestione dei log file di un sistema (o Log Management) e’ indispensabile nella raccolta dei dati, prevenzione e risoluzione di problemi.

Log Management di Cyberfero

SOD propone una soluzione di log management tramite gli agenti di Syslog-ng Premium Edition. Questi sono in carico della raccolta, trasmissione e stoccaggio dei log file. Non solo vengono raccolti e centralizzati in un unico luogo virtuale, ma i dati sono anche normalizzati, cioe’ “tradotti” in formati standardizzati in modo da poterli consultare e confrontare con maggiore facilita’.

Normalizzazione, report e classificazione in real-time

Grazie alla normalizzazione, e’ possibile effettuare in pochi secondi ricerche full-text trasversali a tutti i log file raccolti. Operazioni complesse sono garantite dalla possibilita’ di utilizzo di wildcard e operatori booleani. L’analisi dei dati raccolti ne risulta quindi molto semplificata, il che permette di utilizzare i dati anche per monitorare l’efficienza del sistema, individuare possibili problemi futuri e intervenire prima che sia troppo tardi.

E’ possibile anche generare report personalizzati composti da grafici e statistiche con lo scopo di attestare la conformita’ a norme e regolamenti come PCI-DSS, ISO 27001, SOX e HIPAA.

Una delle caratteristiche piu’ interessanti di syslog-ng, e’ la capacita’ di classificare in modo automatico i messaggi e ordinarli in classi. Queste possono essere poi usate per etichettare il tipo di evento descritto nel log. Esempi di possibili classi: login utente, crash dell’applicazione, trasferimento file, etc.

Estrazione e correlazione dei messaggi nei log file

La classificazione dei messaggi apre le porte a un ulteriore funzionalita’: l’estrazione e correlazione dei messaggi. Una volta che ogni messaggio contenuto nei log file e’ stato normalizzato e classificato secondo le proprie esigenze, e’ possibile assegnare diversi tag, per aggiungere un livello di filtro ulteriore.

Per fare un esempio: una volta raccolti i messaggi di accesso di un utente, e’ possibile etichettarli come user_login, e poi isolarli estraendoli e raccogliendoli in un file separato per eseguire ulteriori elaborazioni su questi messaggi. 

Syslog-ng rende possibile anche la correlazione degli eventi in tempo reale, per evitare che i dati di un singolo evento siano sparsi in diversi log file. Per esempio i dati di accesso e uscita (log-in e log-out) sono spesso registrati lontani l’uno dall’altro, addirittura in log file diversi. Attraverso la correlazione si possono raccogliere e analizzare i dati di un singolo evento in modo isolato.

Backup automatico

I messaggi di log memorizzati e la configurazione del servizio di Log Management possono essere periodicamente trasferiti a un server remoto utilizzando i seguenti protocolli:

– Network File System protocol (NFS)
– Rsync over SSH
– Server Message Block protocol (SMB/CIFS)

Prestazioni

Il sistema di raccolta e gestione dei log file con gli agenti syslog-ng PE opera su oltre 50 piattaforme, incluse tutte le distribuzioni di Linux e le versioni commerciali di Unix e Windows. Il servizio e’ in grado di gestire quantita’ enormi di messaggi, fino a oltre 100.000 al secondo e oltre 70 GB di log file grezzi all’ora, da 5000 fonti differenti (server, applicativi, etc.).

Chiedici ulteriori informazioni sul nostro servizio di Log Monitoring per sapere nello specifico come e’ implementabile nei tuoi sistemi e come puo’ esserti di aiuto.

Link utili:

Log Management

Log Management caratteristiche

Nuovo servizio | Log Management – Il servizio ad alte prestazione per la conservazioni dei Log