Data Engineer expérimenté H/F
Palaiseau (91)
CDI
Digital / Marketing / Communication
Web / E-commerce / Marketing digital
5 ans et plus
Bac +5 et plus
De 40 € à 70 € par an
Description
En intégrant le Data & IA Hub SOCOTEC, vous apporterez votre expertise technique pour : Concevoir, développer et maintenir des flux de données robustes et évolutifs Établir et promouvoir des standards de qualité pour la documentation et la validation des flux de données, garantissant ainsi leur fiabilité et leur traçabilité. Participer activement aux processus de qualification technique, en évaluant de nouvelles technologies et en recommandant leur adoption lorsqu'elles apportent une valeur ajoutée à notre écosystème data. Assurer une veille technologique continue sur les différentes solutions Cloud, Jouer un rôle clé dans l'évolution de notre architecture data, en identifiant les opportunités d'amélioration et en proposant des solutions techniques avancées pour répondre aux défis actuels et futurs de l'entreprise. Collaborer étroitement avec les équipes BI et Data Science pour assurer une intégration harmonieuse des flux de données dans les projets ciblés. Vous travaillerez sur deux missions principales : Au sein de l’entité Socotec Monitoring France (20%), vous participerez à la définition de la stratégie optimale de données pour Socotec Monitoring (structuration, processus, open data, achats de données externes) Pour le compte du groupe Socotec (80%), vous participez à la construction du Data Lake à l’échelle monde. Votre objectif sera de développer les flux de donner pour leur analyse en lien avec les équipes BI et Data Science. Vous apprendrez à organiser et ordonnancer les flux d’extraction, de transformation et de chargement des données en garantissant leur fiabilité, leur disponibilité, etc. Le stack technique utilisée : Databricks Cloud (AWS) Fivetran pour l’intégration de donnée Spark/Pyspark pour les pipelines ETL Github/Gitlab pour versionner les sources DeltaLake/Iceberg pour le stockage de donnée AWS (S3, Lambdas) Power BI, l’outil de BI, géré avec les équipes BI Chez SOCOTEC, les carrières sont construites avec vous vers ce qui vous correspond le mieux : expertise technique, management d’une équipe (lead data), etc. Vous aurez la possibilité d’interagir à l’international (US, UK, ITA, ESP, NL) et des opportunités de mobilité internationale sont possibles. Vous ferez preuve d’autonomie, de sagacité et de qualités certaines dans la rédaction et la communication de son code.
Profils recherchés
Master en Big Data ou diplôme d'ingénieur en informatique avec une forte appétence pour la data Expérience avérée avec Databricks et son écosystème (DeltaLake, Spark) Solide expérience dans au moins une plateforme cloud majeure (AWS, GCP ou Azure) Connaissances des principes de l’architecture Modern Data Stack Expérience dans la mise en place et la gestion de pipeline de donnée complexe Maîtrise des bases de données SQL et NoSQL, ainsi que des concepts associés Expérience avec les outils collaboratifs de développement (Git, GitLab, Jupyter Notebooks, etc.) Intérêt marqué pour les technologies innovantes Esprit d'équipe Anglais courant, y compris un bon niveau technique