Data Engineer

Publiée le 31/10/2021 par SKILLWISE

Lieu : Paris
Durée : 6 mois
Tarif : 200-500 €
Télétravail : 50 %
Début : ASAP

Description de la mission :



Nous recherchons pour notre client un candidat dans un travail de refonte technologique de sa plateforme historique.
Dans ce contexte, l'équipe Data va être amenée à prendre un rôle plus central dans la génération de données anonymisées utilisées dans le cadre d'analyses de BI. La mission principale du poste sera de participer pleinement à cet effort, tant dans la définition des solutions retenues par notre architecte que dans leur implémentation, et ensuite dans leur évolution.

Technologies de Big Data : Hadoop/Spark pressenti, développements associés, création des transformations des données, des API permettant de requêter ces données. Nous traitons de la donnée sensible et devons donc prêter une attention particulière à sa sécurisation ainsi qu'à la définition précise de droits différenciés selon les usages.
-Création et orchestration de nos ETL


Compétences requises

- Python 3
- Docker
- Git
- Gitlab / Ansible
- Pandas / Bonobo / Prefect
- MongoDB




La maitrise de ces outils est appréciées

Technologies de big data : Hadoop, Spark
Gestionnaire de workflow : AirFlow, Prefect
Minio, Vault
Kafka
Outil de versionning général d'environnement (ex: poetry)
Outil de monitoring (sentry, Kibana )
Ansible



Si cette mission vous intéresse n'hésitez pas à me contacter : XXX@XXXXXXXXXXXX

Profil recherché :



Nous recherchons un.e candidat.e avec une première expérience de Data Engineer en Python (3 ans) ayant travaillé sur des projets en production (tests, logs, versionning ).

Entreprise :



Leader de l'onboarding digital pour les services financiers en France et en Europe

Postuler à cette mission :
Si vous cherchez un CDI ou CDD, le jobboard Carriere-info est plus adapté.