Une solution complète de bout en bout pour l’UNIG qui doit utiliser la puissance du cloud et de l’analyse de données. Une approche anti-silo consistant à extraire des informations précieuses des données de manière planifiée et automatisée.

• Création d’un pipeline de migration et d’analyse dans le cloud, qui commence par la migration des données client depuis des serveurs de base de données Oracle sur site vers des comptes de stockage Blob Azure
• Service de briques de données Azure connecté en toute sécurité aux comptes de stockage d’objets blob pour effectuer diverses analyses et transformations sur les données
• Résultats intermédiaires stockés sur le système de fichiers Data Bricks au format parquet pour faciliter la lecture et l’écriture rapides
• Implémentation de déclencheurs Azure Data Factory pour charger les objets blob nouvellement ajoutés à traiter ultérieurement par Apache Spark sur les briques de données
• Implémentation de la logique de capture des données de changement à l’aide de PySpark et Spark Sql
• Service de briques de données connectées à Azure Sql Db, pour stocker les données traitées dans des tables relationnelles en cas de besoin
• Les données connectées connectent des blocs-notes à Azure Data Warehouse pour stocker les résultats finaux sur lesquels d’autres services tels que power bi peuvent être connectés pour créer des visualisations