Ingénieur Data Qualité & Validation (F-H)

Contexte du poste

Nous recherchons un Data Engineer spécialisé dans les environnements Azure et Databricks, avec une solide expertise dans l’architecture en médailles (Bronze / Silver / Gold), les pipelines ETL, ainsi que les processus d’ingestion et de transformation de données. Le rôle comporte également une dimension QA Data, incluant la validation, les tests et le suivi qualité via Xray.

Responsabilités principales

1. Conception & Développement Data

• Concevoir, développer et maintenir des pipelines ETL robustes et scalables.

• Implémenter l’architecture médaille (tables Bronze, Silver, Gold) dans Databricks.

• Développer des workflows d’ingestion (batch et streaming) à partir de sources variées.

• Réaliser la transformation des données à grande échelle via PySpark.

• Optimiser les pipelines Databricks (performances, coûts, fiabilité).

2. Orchestration & Intégration

• Concevoir et orchestrer les pipelines via Azure Data Factory (ADF).

• Mettre en place les Jobs Databricks (batch et streaming).

• Assurer la gestion des environnements, clusters, notebooks et configurations Azure.

3. Qualité & Validation (QA Data)

• Concevoir et exécuter des cas de tests et plans de tests pour les pipelines data.

• Rédiger et exécuter des requêtes SQL avancées pour les contrôles de cohérence, qualité et validation.

• Utiliser Xray pour la gestion des campagnes de tests et le suivi qualité.

• Documenter les anomalies et assurer le suivi des correctifs.

4. Collaboration & Support

• Collaborer avec les équipes Data Science, BI, Développeurs et Product Owners.

• Fournir une expertise technique et mentorat pour les profils plus juniors.

• Garantir les bonnes pratiques de développement, sécurité et gouvernance cloud.

Compétences techniques requises

Data Engineering

• Maîtrise de Databricks et de son écosystème (clusters, notebooks, workflows).

• Très bonnes connaissances en PySpark pour le traitement de données distribuées.

• Solide expérience des Jobs Databricks (batch & streaming).

• Pratique de l’architecture médaille : Bronze, Silver, Gold.

ETL & Orchestration

• Expérience confirmée en conception ETL et ingestion de données.

• Maîtrise de Azure Data Factory (ADF).

• Connaissances des bonnes pratiques de DataOps.

QA Data

• Excellentes compétences en SQL (analytique, optimisation, validations).

• Connaissance des frameworks de tests et gestion via Xray.

• Expérience dans la rédaction de cas de tests, plans de tests, exécution dans des notebooks ou pipelines.

Profil recherché :

• Minimum 5 ans d’expérience en Data Engineering.

• Expertise avancée en PySpark et pipelines big data.

• Capacités d’analyse, rigueur et sens de la qualité (data quality mindset).

• Capacité à travailler dans un environnement agile et multi-projets.

Bonus / Nice to Have

• Connaissances Azure Synapse, Delta Lake, CI/CD, Git, Terraform.

• Sensibilité à la gouvernance et la sécurité des données.

Pourquoi rejoindre notre équipe ?

• Un environnement dynamique et innovant, au sein d’une équipe passionnée par les technologies de données.
• La possibilité de travailler sur des projets d’envergure, à la pointe des technologies cloud et Big Data.
• Des opportunités d’évolution et de formation continue pour développer vos compétences.
• Un cadre de travail flexible (mode Hybride) et des avantages attractifs.

Mots clés : Data Engineer Quality & Validation; Testeur Data.