Ingénieur Data – Scala / Databricks

Casablanca , Morocco
full-time

AI overview

Contribute to the development and optimization of data flows and pipelines using Azure and Databricks while collaborating closely with internal stakeholders to implement quality standards.

Au sein de la Direction des Technologies, le pôle BI/Data est en charge du pilotage et de la réalisation des projets de Business Intelligence.

Votre rôle au sein de l’équipe:

Rattaché(e) au Tech Lead Data Engineer, vous jouerez un rôle clé dans le développement, l'optimisation et la gestion de nos flux de données pour nos clients internes.

Missions principales:

En tant que Data Engineer, vous serez impliqué(e) dans les activités suivantes :

  • Développer et maintenir des pipelines d'ingestion de données avec Azure Data Factory.
  • Concevoir des pipelines de transformation de données sur Azure Databricks.
  • Implémenter des tests unitaires pour garantir la robustesse du code et des solutions développées.
  • Définir et appliquer des règles de qualité des données.
  • Participer à la conception des pipelines CI/CD via Azure DevOps pour automatiser les déploiements.
  • Appliquer des bonnes pratiques de software engineering dans toutes les étapes du développement.
  • Collaborer étroitement avec les Product Owners Data pour comprendre les besoins métiers et proposer des solutions adaptées.
  • Assurer la supervision des traitements de données avec Datadog.
  • Contribuer à la définition et à l'optimisation des architectures de données.

Environnement technique principal:

  • Langages : SQL, Scala, PySpark, Python
  • Outils : SSIS, SSAS, Business Object, Power BI, Datadog, Snyk
  • Cloud : Azure DataFactory, Azure Databricks, ADLS Gen 2
  • CI/CD : Git, Azure DevOps.

Vos atouts pour faire la différence :

  • Diplôme en informatique (Bac+5), en ingénierie ou dans un domaine connexe.
  • Ayant minimum 3 ans d'expérience dans un poste similaire.
  • Maîtrise d’un ou plusieurs langages : Python, PySpark, Scala, SQL
  • Expérience confirmée dans le développement de pipelines de données sur Databricks
  • Bonne connaissance du Spark UI avec capacité à diagnostiquer et optimiser les traitements
  • Bonne connaissance de l’environnement Azure et de ses services cloud orientés data
  • Familiarité avec les bonnes pratiques de développement : clean code, versioning, tests et principes de modélisation BI
  • Expérience d’utilisation du framework dbt pour la transformation de données en SQL
  • Pratique du travail en méthodologie Agile, en lien étroit avec les Product Owners Data et l’équipe projet
  • Force de proposition, capable de s’adapter rapidement dans un environnement technique en constante évolution

Pourquoi rejoindre notre équipe ?

  • Un environnement dynamique et innovant, au sein d’une équipe passionnée par les technologies de données.
  • La possibilité de travailler sur des projets d’envergure, à la pointe des technologies cloud et Big Data.
  • Des opportunités d’évolution et de formation continue pour développer vos compétences.
  • Un cadre de travail flexible et des avantages attractifs.

Careers at SQLI. Find Great Talent with Career Pages. | powered by SmartRecruiters | Find Great Talent with a Career Page.

View all jobs
Get hired quicker

Be the first to apply. Receive an email whenever similar jobs are posted.

Report this job
Apply for this job