DATA ENGINEER SENIOR

Publiée le 11/05/2022 par PRIMO CONSULTING

Lieu : Paris
Durée : 36 mois
Tarif : Tarif non renseigné
Télétravail : 50 %
Début : 17/05/2022

Description de la mission :



La direction technique du Numérique du client mène des projets transverses en étroite collaboration avec les autres directions, notamment la direction Data.
En pleine expansion, nous souhaitons renforcer l'équipe Data par de nouvelles expertises en data engineering et aider ainsi à la mise en place de solutions Big Data dans un environnement Cloud.
Notre stack technique est principalement constituée de Python, Spark, SQL pour les traitements de données en batch, Apache Beam pour les traitements en streaming et Airflow pour l'orchestration. La stack inclut aussi d'autres services de la Google Cloud Platform.

Prestation  
Au sein de l'équipe Data et au cœur de la plateforme data, la prestation se déroulera en collaboration avec les experts métier de la donnée, les product owners, les data scientists ou encore les data managers.
Cette plateforme est aujourd'hui composée d'un Data Lake et d'un Data warehouse. Avec les autres Data Engineers de l'équipe, la mission consistera à :

Construire et maintenir des pipelines data robustes et scalables pour alimenter notre Data Lake et notre Data warehouse
Mettre en place et maintenir des infrastructures scalables (orchestration, stockage, distribution, notamment) capables de répondre aux besoins des équipes data et à l'accroissement rapide du volume de données
Construire et maintenir des workflows GitLab CI/CD pour aider l'équipe à délivrer tout en assurant la qualité, la fiabilité et la disponibilité des données en production
Développer des composants internes configurables d'ingestion et de traitement de données (ETL, API Rest)
Collaborer avec les autres data engineers dans l'équipe pour appliquer les bonnes pratiques en vigueur, identifier les besoins et contribuer à notre stratégie data et notre roadmap
Assurer l'évolutivité, la sécurité, la stabilité et la disponibilité des données de la plateforme data
Contribuer et veiller à la mise à jour de la documentation
Optimiser les traitements de données, refactorer les codes et participer activement aux revues de code
Contribuer à la montée en compétence des profils juniors dans l'équipe
Faire une veille technologique permanente dans le domaine


Profil recherché :



Data Engineer Senior - Python, Pyspark, Pipeline
Expertise data : structures de données, code, architecture
Expériences professionnelles en tant que data engineer notamment dans le développement des pipelines data
Expérience sur les architectures Cloud (AWS, GCP, Azure), idéalement sur GCP
Excellente maîtrise des langages/frameworks : Python, SQL, Spark
Expérience dans l'orchestration des workflows data avec Airflow : création des DAGs, refactoring
Expérience Architecture as Code, idéalement sur Terraform
Maîtrise des traitements ETL et gestion des flux de données : collecte, transformation, stockage, distribution
Expérience en déploiement et maintien des jobs/dags/app dans un environnement de production.
Bonnes connaissances de Git, Gitlab CI/CD et des process de delivery
Capacité à vulgariser et à communiquer sur des aspects purement techniques
Expérience professionnelle en méthode Agile (Scrum, Kanban)


Entreprise :



Grand compte

Postuler à cette mission :
Si vous cherchez un CDI ou CDD, le jobboard Carriere-info est plus adapté.