ETL: cosa significa e a cosa serve? Più un dataset utile per fare pratica

 Cos'è l'ETL?

ETL (Extract, Transform, Load) è il processo di integrazione dei dati che supporta le analisi basate sui dati. Consiste in tre passaggi:

  1. I dati vengono estratti dalla fonte originale.
  2. I dati vengono poi trasformati in un formato adatto all'analisi.
  3. Infine, i dati vengono caricati in uno storage, un data lake o un sistema di business intelligence (BI).

ETL fornisce la base per un'analisi dei dati di successo e una singola fonte di verità per garantire che tutti i dati aziendali siano coerenti e aggiornati.

Quali sono i vantaggi degli strumenti ETL?

  • Risparmiare tempo ed eliminare l'elaborazione manuale dei dati. Gli strumenti ETL aiutano a raccogliere, trasformare e consolidare i dati automaticamente.
  • Facilitare il lavoro con una grande quantità di dati complessi e diversificati: fusi orari, nomi dei clienti, ID dei dispositivi, località, ecc.
  • Ridurre il rischio di errori nei dati causati da fattori umani.
  • Migliorare il processo decisionale. Automatizzando il lavoro con dati critici e riducendo gli errori, ETL assicura che i dati ricevuti per l'analisi siano di alta qualità e affidabili.
  • Poiché si risparmia tempo, impegno e risorse, il processo ETL aiuta infine ad aumentare il proprio ROI.

Fonte: https://medium.owox.com/top-15-etl-tools-in-2023-1e0a87bb299f

Un ottimo dataset per fare esercizio con le attività di trasformazione dei dati (la "T" dell'ETL) è l'EA Sports FC 24 complete player dataset, scaricabile gratuitamente da Kaggle.

Commenti

Posta un commento

Post popolari in questo blog

Dove trovare raccolte di dati (dataset) utilizzabili gratuitamente

Quando si entra nel fantastico mondo dell'analisi dei dati il primo ingrediente che serve sono... i dati. E le raccolte di dati diventano fondamentali anche in seguito quando, ad esempio, si vuole addestrare un modello di machine learning. In questa pagina annoto i siti dai quali è possibile scaricare gratuitamente e legalmente dataset curati di dati. Chiunque può contribuire segnalandone di nuovi nei commenti Meta Datasets . La pagina dei Datasets di Meta AI offre un'incredibile raccolta di dataset su larga scala e benchmark per l'addestramento, il test e la valutazione dei modelli di intelligenza artificiale. I dataset coprono vari ambiti come la segmentazione degli oggetti, modelli visione-linguaggio, ricostruzione 3D, equità algoritmica e traduzione automatica. Esempi includono il dataset SA-V per la segmentazione, FACET per valutare l'equità nei modelli visivi e Ego4D per la comprensione di video in prima persona. Tutti i dataset possono essere scaricati gratuita...
Read more »

Alternative a Yahoo Finance per scaricare i dati di borsa

Dennis Ganzaroli, nel suo libro "The Knime Way - The Visual Data Language" , suggerisce questa query https://query2.finance.yahoo.com/v8/finance/chart/ENI.MI?period1=1493205443 &period2=1495797443&interval=1d&events=history&crumb=jL5lEa4DGxl e funziona ! Le altre fonti di dati che avevo elencato, nel post originale pubblicato qui sotto, rimangono comunque valide alternative. *** Da qualche mese non è più possibile scaricare gratuitamente lo storico dei dati di borsa da Yahoo Finance. Una scelta comprensibile, dettata probabilmente dalla volontà di monetizzare i dati in loro possesso, ma che rappresenta una perdita per chi utilizza queste informazioni come campo di allenamento per attività di analisi dei dati. I dati di borsa sono, infatti, una delle risorse più versatili per esercitarsi in tutte le fasi del processo di analisi: dall’estrazione e pulizia dei dati, alla loro trasformazione, fino all...
Read more »

Google ha creato i Titan: modelli IA con la “memoria simile al cervello umano” - DDay

Ricercatori di Google hanno pubblicato una ricerca riguardante "Titan”, una nuova architettura per gestire la memoria nei modelli di IA, affrontando i limiti dei Transformer tradizionali, specialmente nella gestione di contesti lunghi. La famiglia di modelli Titan introduce infatti una memoria (logica) neurale modulare capace di memorizzare, dimenticare e richiamare informazioni in modo adattivo , migliorando l'efficienza e la scalabilità su sequenze estremamente lunghe. Prima di parlare dei Titan è però importante stabilire un concetto importante sulla memoria logica che utilizzano: la memoria opera solo durante l'inferenza come un "sistema di apprendimento", ma non si aggiunge ai dati di training . Cioè, il modello non impara sempre più cose continuando a usarlo. La memoria è contestuale solo alla richieste della singola “chat” o alle successive comunque correlate a essa . Leggi tutto:  https://www.dday.it/redazione/51731/google-ha-creato-i-titan-modelli-ia-co...
Read more »