Software Data Engineer H/F

Description du poste

Nous recherchons un(e) Software Data Engineer pour l'un de nos clients grand compte.

Missions :

• Concevoir et implémenter les composants/pipelines d’ingestion de données en scala spark

• Traiter et normaliser les données

• Refactoriser des imports existants pour être compliant avec l'architecture médaillon (silver + gold layers)

• Appliquer/challenger les règles métier pour générer la couche gold tout en garantissant les performances, la scalabilité et les coûts cloud

• Distribuer les données aux différents consommateurs/Métiers

• Implémenter les règles de Data Quality (DataQuality framework) et gérer le data calatog

• Développer et améliorer les frameworks communs (monitoring, CI/CD, tests, performance, résilience, standards de développement, qualité du code)

• Rédiger et maintenir la documentation technique des développements réalisés : schéma d'architecture, Infra, Flux, …

• Garantir le respect des standards du Groupe en matière de qualité, sécurité, partage, usage et architecture des données

• Participer au développement et à la maintenance du calculateur en Scala Spark avec l'objectif :

- d'optimiser le temps de calculs,

- d'optimiser les performances,

- de garantir la scalabilité au regard d'un accroissement annuel important du volume des market operations,

- de maîtriser et d'optimiser les coûts cloud.

• Être force de proposition pour améliorer les processus et les performances des systèmes.

Compétences requises :

• Expertise en Scala et Spark.

• Expérience significative dans le développement d'ETL en contexte Big Data.

• Expérience AWS (Glue, Lambda, Step Function, S3, etc.) : niveau intermédiaire avec expérience pratique

• Compétences Dev/Ops

• Capacité à travailler en équipe et à communiquer efficacement avec les parties prenantes.

• Organisation, orientation résultats et intérêt marqué pour le fonctionnel.

• Des compétences en Python et REACT seraient un plus pour le candidat

Enfin, il est attendu du candidat :

- une expertise technique: Scala, Spark (batch), Python serait un plus

- une expertise sur le Cloud computing AWS et les services Glue, S3, Athena, Lambda mais pas très utilisé

- une expérience sur des process ETL sur une forte volumétrie et des process de calculs

- une fibre architecturale : capacité à designer et proposer des architectures simples et pérennes dans le temps dans des environnements multiples et complexes

- une appétence aux sujets data, Machine Learning

- des compétences devops

- Etre force de proposition et de critique

- un mindset agile, avenant, proactif et customer oriented

Profil recherché :

• Minimum 5 ans d'expérience en développement Scala Spark.

• Expérience avérée dans des projets Big Data et ETL.

• Capacité à être force de proposition et à travailler de manière autonome.

• Intérêt pour le secteur de l'énergie, du trading et de la détection d'abus de marché.

Scripting Python / junior

AWS - Glue, Athena, S3 / confirmé

Big Data Architecture & Technologies / Avancé

DevOps (Git, Azure Devops, …) / Confirmé

Scala / avancé

Spark / avancé

SQL / confirmé

Profil recherché :

• Minimum 5 ans d'expérience en développement Scala Spark.

• Expérience avérée dans des projets Big Data et ETL.

• Capacité à être force de proposition et à travailler de manière autonome.

• Intérêt pour le secteur de l'énergie, du trading et de la détection d'abus de marché.

Scripting Python / junior

AWS - Glue, Athena, S3 / confirmé

Big Data Architecture & Technologies / Avancé

DevOps (Git, Azure Devops, …) / Confirmé

Scala / avancé

Spark / avancé

SQL / confirmé