Mesh di dati rispetto ad altre opzioni di gestione dei dati

May 01, 2023

Immagini Getty

Le organizzazioni che ricercano più valore dai dati hanno molte strategie tra cui scegliere. Assicurati di comprendere le opzioni e le rispettive limitazioni per scegliere la giusta architettura dei dati.

Le organizzazioni non dovrebbero trascurare le esigenze e la strategia relativa ai dati quando acquistano strumenti. Se lo facessero, potrebbero fare scelte tecnologiche non ottimali e sottovalutare la governance, la sicurezza e la privacy dei dati, ha affermato Srujan Akula, CEO di The Modern Data Company, che fornisce un sistema operativo dati.

"I professionisti dovrebbero dare priorità alla comunicazione, coinvolgere le parti interessate e garantire una comprensione completa degli obiettivi e dei requisiti della propria organizzazione prima di implementare qualsiasi soluzione di architettura dei dati", ha affermato Akula. Inoltre, la formazione del personale e lo sviluppo delle competenze sono parti cruciali dell’adozione della tecnologia.

La mesh di dati è l'ultimo capitolo nell'evoluzione delle architetture dei dati. Le architetture di analisi dei dati sono iniziate con i data warehouse prima di evolversi nei data lake. La mesh di dati è la terza versione da prendere in considerazione per le organizzazioni.

"Il data mesh soddisfa sia le esigenze di scalabilità e varietà dei dati, sia la velocità con cui si ottengono informazioni da questi sistemi", ha affermato Ravi Mayuram, CTO della società di database NoSQL open source Couchbase.

Questo articolo esplora cos'è il data mesh e in che modo differisce da altri approcci comuni, inclusi data warehouse, data lake e data fabric. Fornisce inoltre consigli pratici per le organizzazioni che implementano un approccio data mesh.

Il data mesh affronta le sfide legate alla scalabilità dei dati e dell'analisi nelle organizzazioni complesse. La mesh di dati è un'architettura di dati decentralizzata che organizza i dati per domini ed è prevalentemente focalizzata su persone e processi. Zhamak Dehghani, CEO di Nextdata, ha aperto la strada al concetto mentre lavorava presso la società di consulenza tecnologica Thoughtworks.

Ha quattro principi fondamentali:

Questo approccio contrappone la mesh di dati a team e strutture di dati centralizzati. Questi team centralizzati cercano di risolvere tutti i problemi, ha affermato Lior Gavish, CTO del fornitore di soluzioni di osservabilità dei dati Monte Carlo Data. La mesh di dati dovrebbe aiutare le aziende a ridimensionare i team di dati. "Come possiamo consentire a tanti team diversi di utilizzare i dati in modo efficace e indipendente l'uno dall'altro?" Ha detto Gavish.

Un data warehouse tende ad essere monolitico e carica i dati in un unico ambiente, funzionando come un archivio di dati che supporta l'analisi e il processo decisionale. Una rete di dati consente un ambiente distribuito in cui i dati non devono spostarsi per fornire valore aziendale. Un data warehouse e una mesh di dati non si escludono a vicenda, poiché un data warehouse può far parte di una mesh di dati.

La filosofia alla base di un data warehouse è creare un'unica versione della verità e centralizzarla sotto il controllo dell'IT. Il data warehouse è la piattaforma dati; è il luogo in cui gli utenti archiviano e creano prodotti dati.

"Il data mesh si concentra su una mentalità organizzativa che tratta i dati come prodotti di prima classe posseduti da singoli domini", ha affermato Dipankar Mazumdar, sostenitore degli sviluppatori presso Dremio, un fornitore di soluzioni open data Lake.

Ci sono degli svantaggi nell’approccio del data warehouse.

"I dati monolitici guidano processi complessi di gestione delle modifiche [e] creano tempi di avviamento prolungati per i nuovi tecnici", ha affermato Jon Osborn, CTO sul campo presso la società di automazione della pipeline di dati Ascend.io. "[Inoltre] alimenta un infinito arretrato tecnico con richieste che dovrebbero essere gestite autonomamente."

Come un data warehouse, un data Lake centralizza l'archiviazione e l'elaborazione dei dati, sebbene un data Lake possa archiviare sia dati strutturati che non strutturati principalmente nell'archiviazione di file o oggetti. Anch'esso può diventare parte di una rete di dati.

"Il concetto di mesh di dati si basa su uno strato mesh che intreccia insieme fonti di dati operativi e data lake specifici del dominio", ha affermato Mayuram.

Fondamentalmente, nel valutare l’approccio data Lake o mesh, o la combinazione di entrambi, un data leader deve capire se le architetture per gestire i dati distribuiti sono appropriate per la propria organizzazione. Le grandi organizzazioni con architetture complesse possono soffrire di silos di dati e problemi di accessibilità. Ciò rende scoraggiante l’integrazione dei dati provenienti da diverse fonti, ha affermato Bob Audet, partner e leader nella gestione dei dati presso Guidehouse, una società di consulenza, servizi digitali e gestiti.