Data Engineering
Data Transformation sur Skywise
Industrialisation de pipelines de transformation pour convertir des donnees d ingenierie heterogenes en data products fiables et exploitables.
Contexte
Les donnees provenaient de plusieurs systemes legacy avec des formats et qualites heterogenes. Le challenge etait de livrer des datasets coherents et gouvernes pour l analyse metier.
Solution technique
- Developpement de pipelines PySpark pour nettoyage, normalisation et enrichissement.
- Structuration des jeux de donnees en data products avec modeles semantiques metier.
- Mise en place de controles de qualite automatiques et alerting sur anomalies.
- Application de workflow CI/CD pour faire evoluer les transformations en securite.
Resultats
Pipelines robustes
Execution automatisable et stable des transformations critiques.
Qualite monitorable
Detection rapide des ecarts de fraicheur et de conformite des donnees.
Valeur metier
Datasets fiables utilises pour analyses et dashboards decisionnels.