Ingénieur Data – Scala / Databricks

Casablanca , Morocco
full-time

AI overview

Join a dynamic team and play a key role in developing and optimizing data flows and pipelines using cutting-edge technologies like Azure Data Factory and Databricks.

Au sein de la Direction des Technologies, le pôle BI/Data est en charge du pilotage et de la réalisation des projets de Business Intelligence.

Votre rôle au sein de l’équipe:

Rattaché(e) au Tech Lead Data Engineer, vous jouerez un rôle clé dans le développement, l'optimisation et la gestion de nos flux de données pour nos clients internes.

Missions principales:

En tant que Data Engineer, vous serez impliqué(e) dans les activités suivantes :

  • Développer et maintenir des pipelines d'ingestion de données avec Azure Data Factory.
  • Concevoir des pipelines de transformation de données sur Azure Databricks.
  • Implémenter des tests unitaires pour garantir la robustesse du code et des solutions développées.
  • Définir et appliquer des règles de qualité des données.
  • Participer à la conception des pipelines CI/CD via Azure DevOps pour automatiser les déploiements.
  • Appliquer des bonnes pratiques de software engineering dans toutes les étapes du développement.
  • Collaborer étroitement avec les Product Owners Data pour comprendre les besoins métiers et proposer des solutions adaptées.
  • Assurer la supervision des traitements de données avec Datadog.
  • Contribuer à la définition et à l'optimisation des architectures de données.

Environnement technique principal:

  • Langages : SQL, Scala, PySpark, Python
  • Outils : SSIS, SSAS, Business Object, Power BI, Datadog, Snyk
  • Cloud : Azure DataFactory, Azure Databricks, ADLS Gen 2
  • CI/CD : Git, Azure DevOps.

Vos atouts pour faire la différence :

  • Diplôme en informatique (Bac+5), en ingénierie ou dans un domaine connexe.
  • Ayant minimum 3 ans d'expérience dans un poste similaire.
  • Maîtrise d’un ou plusieurs langages : Python, PySpark, Scala, SQL
  • Expérience confirmée dans le développement de pipelines de données sur Databricks
  • Bonne connaissance du Spark UI avec capacité à diagnostiquer et optimiser les traitements
  • Bonne connaissance de l’environnement Azure et de ses services cloud orientés data
  • Familiarité avec les bonnes pratiques de développement : clean code, versioning, tests et principes de modélisation BI
  • Expérience d’utilisation du framework dbt pour la transformation de données en SQL
  • Pratique du travail en méthodologie Agile, en lien étroit avec les Product Owners Data et l’équipe projet
  • Force de proposition, capable de s’adapter rapidement dans un environnement technique en constante évolution

Pourquoi rejoindre notre équipe ?

  • Un environnement dynamique et innovant, au sein d’une équipe passionnée par les technologies de données.
  • La possibilité de travailler sur des projets d’envergure, à la pointe des technologies cloud et Big Data.
  • Des opportunités d’évolution et de formation continue pour développer vos compétences.
  • Un cadre de travail flexible et des avantages attractifs.

Careers at SQLI. Find Great Talent with Career Pages. | powered by SmartRecruiters | Find Great Talent with a Career Page.

View all jobs
Report this job
Apply for this job