Hadoop Open Data Model: raccolta dati “open”

Estimated reading time: 5 minuti

Con l’avvento delle piattaforme di big data, le aziende che si occupano di sicurezza IT possono ora prendere decisioni guidate su come proteggere le loro risorse. Registrando il traffico di rete e i flussi di rete è possibile farsi un’idea dei canali sui quali scorrono le informazioni aziendali. Per facilitare l’integrazione di dati tra le varie applicazioni e per sviluppare nuove funzionalità analitiche, ci viene incontro l’Open Data Model di Apache.

L’Open Data Model comune per reti, endpoint e utenti ha diversi vantaggi. Per esempio, l’integrazione più semplice tra le varie applicazioni di sicurezza, ma anche le aziende sono facilitate nella condivisione delle analisi nel caso in cui vengono rilevate nuove minacce.

Hadoop offre strumenti adeguati per gestire un Security Data Lake (SDL) e l’analisi dei big data. Si possono anche rilevare eventi che di norma sono difficili da identificare, come ad esempio il lateral movment, fughe di dati, problemi interni o comportamenti furtivi in generale. Grazie alle tecnologie che ci sono dietro al SDL è possibile raccogliere i dati del SIEM per poterli sfruttare tramite SOCaaS dato che, essendo un Open Data Model libero, i log sono memorizzati in maniera tale da poter essere utilizzati da chiunque.

Cos’è Hadoop Open Data Model

Apache Hadoop è un software gratuito e open source che aiuta le aziende a ottenere informazioni sui loro ambienti di rete. L’analisi dei dati raccolti porta all’individuazione di potenziali minacce di sicurezza o eventuali attacchi che avvengono tra le risorse in cloud.

Mentre i tradizionali strumenti di Cyber Threat Intelligence aiutano nell’identificazione delle minacce e degli attacchi in generale, un Open Data Model fornisce uno strumento che permettere alle aziende di rilevare connessioni sospette sfruttando l’analisi dei flussi e dei pacchetti.

Hadoop Open Data Model unisce tutti i dati relativi alla sicurezza (eventi, utenti, reti, ecc) in un’unica area visiva che può essere utilizzata per identificare le minacce in modo efficace. È possibile anche utilizzarli anche per creare nuovi modelli analitici. Infatti, un Open Data Model permette la condivisione e il riutilizzo dei modelli di rilevamento minacce.

Un Open Data Model, inoltre, fornisce una tassonomia comune per descrivere i dati telemetrici di sicurezza utilizzati per scovare le minacce. Utilizzando strutture e schemi di dati nella piattaforma Hadoop è possibile raccogliere, archiviare e analizzare i dati relativi alla sicurezza.

Open Data Model Hadoop, i vantaggi per le aziende

• – Archiviare una copia dei dati telemetrici di sicurezza
• – Sfruttare le analisi out-of-the-box per rilevare le minacce che puntano a DNS, Flow e Proxy
• – Costruire analisi personalizzate in base alle proprie esigenze
• – Permette a terzi di interagire con l’Open Data Model
• – Condividere e riutilizzare i modelli di rilevamento delle minacce, algoritmi, visualizzazioni e analisi provenienti dalla community Apache Spot.
• – Sfruttare i dati telemetrici di sicurezza per rilevare meglio le minacce
• – Utilizzo dei registri di sicurezza
• – Ottenere dati dagli utenti, endpoint e dalle entità di rete
• – Ottenere dati di intelligence sulle minacce

Open Data Model: tipi di dati raccolti

Per fornire un quadro completo sulla sicurezza e per analizzare efficacemente i dati relativi alle minacce informatiche, è necessario raccogliere e analizzare tutti i log e gli avvisi riguardanti gli eventi di sicurezza e i dati contestuali inerenti alle entità a cui si fa riferimento in questi log. Le entità più comuni comprendono la rete, gli utenti e gli endpoint ma in realtà sono molte di più, come ad esempio i file e i certificati.

Proprio per la necessità di raccogliere e analizzare gli avvisi di sicurezza, i log e i dati contestuali, i seguenti tipi di dati sono inclusi nel Open Data Model.

Avvisi su eventi di sicurezza in Open Data Model

Questi sono i log relativi agli eventi provenienti da fonti di dati comuni utilizzati per identificare le minacce e comprendere meglio i flussi di rete. Per esempio i log del sistema operativo, i log IPS, i log firewall, i log dei proxy, web e molti altri ancora.

Dati del contesto di rete

Questi includono le informazioni sulla rete che sono accessibili a chiunque dalla directory Whois, oltre che database di risorse e altri fonti di dati simili.

Dati del contesto dell’utente

Questo tipo di dati include tutte le informazioni relative alla gestione degli utenti e della loro identità. Sono incluse anche Active Directory, Centrify e altri sistemi simili.

Dati del contesto dell’endpoint

Comprende tutte le informazioni sui sistemi endpoint (server, router, switch). Possono provenire da sistemi di gestione delle risorse, scanner delle vulnerabilità e sistemi di rilevamento.

Dati contestuali sulle minacce

Questi dati contengono informazioni contestuali su URL, domini, siti web, file e molto altro ancora, sempre inerenti alle minacce conosciute.

Dati contestuali sulle vulnerabilità

Questi dati includono informazioni sulle vulnerabilità e sui sistemi di gestione delle vulnerabilità.

Articoli della RoadMap

Questi sono dati contestuali dei file, certificati, convenzione di denominazione.

Denominazione degli attributi

Una convenzione di denominazione è necessaria per un Open Data Model al fine di rappresentare gli attributi tra prodotti e tecnologie del fornitore. La convezione di denominazione è composta da prefissi (net, http, src, dst, etc) e da nomi di attributi comuni (ip4, usarname, etc).

È comunque opportuno utilizzare più prefissi in combinazione con un attributo.

Conclusioni

Abbiamo visto cos’è l’Open Data Model di Hadoop e come può essere impiegato grazie alla sua capacità di filtrare il traffico ed evidenziare potenziali attacchi informatici elencando i flussi sospetti, le minacce per gli utenti, i pericoli per gli endpoint e le principali minacce di rete.

Se hai dubbi o desideri avere ulteriori chiarimenti non esitare a contattarci premendo il pulsante qui in basso, saremo lieti di rispondere ad ogni domanda.

Useful links:

• A cosa serve? Hadoop Security Data Lake (SDL)