Antoine Moreau

Gardez le controle sur la qualité des données ingérées dans vos Datalake

10 minutes

Lors de la construction d'un ETL (extract - load - transform), il est fréquent de perdre le contrôle sur la qualité des données ingérées et transformées. Lors des mes récents projets de Data Engineering (dont certains nécessitaient une remontée en temps réel des données), je me suis appuyé sur de nombreuses solutions pour répondre à ce problème :

  • systèmes d'alerting
  • solutions de monitoring visuel
  • documentations automatisĂ©es des transformations Solutions que je voudrai vous prĂ©senter.

Speaking history