Data Engineering / BI

Pipeline Meteo de Bout en Bout

Conception d un pipeline ETL batch complet pour ingerer des donnees meteo depuis une API publique, les transformer, les modeliser en entrepot local et les visualiser dans un dashboard interactif.

RoleData Engineer
TypeProjet Personnel
NiveauOriente Production
StackPython, Pandas, DuckDB, SQLite, Metabase
Temperature trend by city
Temperature trend by city
Average humidity by city
Average humidity by city
Average temperature by city
Average temperature by city

Contexte

Projet personnel de data engineering orientee production pour construire un pipeline meteo complet: ingestion API, transformation de donnees et exposition d indicateurs dans un dashboard BI.

Solution technique

  • Script Python d ingestion batch pour collecter les donnees meteo via API REST.
  • Stockage brut en JSON dans une couche raw (logique data lake).
  • Transformation et nettoyage des donnees avec Pandas.
  • Chargement des donnees curiees dans un entrepot local SQLite.
  • Preparation analytique avec DuckDB et modelisation de tables pour la BI.
  • Connexion de la base a Metabase pour visualiser temperature et humidite par ville.

Resultats

Pipeline de bout en bout

Mise en place d une architecture en couches raw -> transformed -> warehouse -> BI.

Dashboards exploitables

Visualisations claires des tendances de temperature et d humidite par ville.

Approche reproductible

Environnement local reproductible avec virtualenv et pipeline modulaire extensible.