À propos du poste
Évaluer les architectures de traitement par lots et en flux à grande échelle, la conception de lakehouse, les contrats de données, l'orchestration, la traçabilité et la qualité des données en production. Examiner les pipelines générés par IA pour vérifier leur exactitude, l'idempotence, l'évolution de schéma, le comportement de récupération, l'observabilité et la scalabilité tenant compte des coûts. Identifier les limites de responsabilité floues, les défaillances silencieuses de qualité des données, les dépendances fragiles et les lacunes de gouvernance qui se manifesteraient en production. Fournir des corrections pratiques à l'aide de SQL, Spark, Kafka, dbt, Airflow et de modèles modernes de plateforme de données comparables. Travail à distance sous contrat basé sur des projets. La portée et les heures dépendent des projets correspondants ; la fourchette horaire indiquée s'applique aux missions correspondantes.
Ce que nous recherchons
- 7+ ans d'expérience dans la construction de plateformes de données de production ou d'infrastructures analytiques
- SQL avancé ainsi qu'une expertise dans Spark, Kafka, dbt, Airflow ou des systèmes comparables
- Expérience de la conception de produits de données fiables, observables et gouvernés à grande échelle