En tant que Data Engineer, vous jouerez un rôle déterminant dans la conception, la construction et l’optimisation des pipelines de traitement des données au sein d’une plateforme de données centralisée « DATAHUB ». Cette plateforme consolide, fédère et améliore les ressources de données massives pour divers cas d’utilisation, notamment le reporting, l’analytique et l’apprentissage automatique. Vous travaillerez avec plusieurs sources de données, garantissant l’intégration, la transformation et la qualité transparentes des données, tout en migrant l’infrastructure Hadoop vers les environnements cloud.
Responsabilités :
- Intégration des données : intégrez des données provenant de plusieurs sources et formats dans la couche brute du DATAHUB.
- Modélisation des données et développement de pipelines : Concevez et développez des pipelines de données efficaces pour enrichir et transformer de grands volumes de données avec des règles commerciales complexes et la modélisation des données du lakehouse
- Transformation et qualité des données : Mettez en œuvre des processus de transformation des données et de contrôle de la qualité pour garantir la cohérence et l’exactitude des données. Utilisez des langages de programmation tels que Scala et SQL et des outils tels que Spark pour les opérations de transformation et d’enrichissement des données.
- Planification avec Airflow : Planifiez des tâches de traitement des données à l’aide d’Airflow.
- Tests de validation : Effectuez des tests unitaires et de validation pour garantir l’exactitude et l’intégrité.
- Mise en œuvre du pipeline CI/CD : configurez des pipelines CI/CD pour automatiser le déploiement, les tests unitaires et la gestion du développement.
- Documentation : Rédiger la documentation technique (spécifications, documents opérationnels) pour assurer la capitalisation des connaissances.
- Amélioration du code : modifiez le code existant selon les exigences de l’entreprise et améliorez-le continuellement pour de meilleures performances et une meilleure maintenabilité.
- Migration de l’infrastructure : migrez l’infrastructure Hadoop existante vers une infrastructure cloud sur Kubernetes Engine, Object Storage, Spark as a service et Airflow as a service
- Optimisation des performances et sécurité : Assurer la performance et la sécurité de l’infrastructure de données et suivre les meilleures pratiques de l’ingénierie des données.
- Support de production et maintenance : Contribuer au support de production, à la correction d’incidents et d’anomalies, et mettre en œuvre des évolutions fonctionnelles et techniques pour assurer la stabilité des processus de production.
- Collaboration d’équipe : travaillez en étroite collaboration avec les équipes de données et les équipes commerciales pour comprendre les besoins en matière de données et fournir des solutions sur mesure.7
- Animer l’équipe : Guider, collaborer et déléguer des tâches de développement à des développeurs juniors
Compétences techniques :
Spark, Airflow, Hadoop, Oozie, Kubernetes, COS, Scala, SQL, Dremio, Git, GitLab, Jenkins
Travailler chez Orange Consulting, c’est rejoindre un cabinet à taille humaine qui offre à ses collaborateurs des perspectives d’évolution claires et accessibles à travers des parcours de formations spécialement conçus par et pour nos consultants.
Quelques repères :
200 collaborateurs
Plus de 250 clients et 1000 missions par an
Une entreprise certifiée Top Employeur 2019
Un espace de travail de 2000 m² fraîchement rénové, au cœur de Montmartre
Nous accompagnons les entreprises et les institutions en France et à l'international sur leurs problématiques de transformation digitale et data et leurs enjeux métiers.
Nous rejoindre, c’est aussi faire partie d’Orange Business Services SA, une entreprise de services numériques regroupant 7 600 talents en France spécialisés dans de nombreux domaines d’expertises tels que la Cybersécurité, l’IA, le Cloud les Infrastructures IT, l’Internet des Objets, la Data, la Virtualisation, le Fleet Management, les Communications unifiées, l’Audit et le Conseil.
