Data Engineer GCP (H/F)

Publiée le 24/11/2021 par HR-TEAM

Lieu : Paris
Durée : 3 années
Tarif : 550-650 €
Télétravail : Non
Début : ASAP
logo HR-TEAM

Description de la mission :



Nous recherchons un Data Engineer pour renforcer les équipes dans la construction du nouveau Datalake. Celui-ci remplacera à terme intégralement le système existant.

Missions :

- Participer à l'enrichissement et la maintenance du nouveau Datalake GCP (Datawarehouse, BigQuery)
- Ajout de nouvelles sources de données (évènementielles, MongoDB, sources externes (API, ftp)
- Développer les pipelines de données : extraction, ingestion, transformation, agrégation, nettoyage
- Accompagner les équipes développement dans leur utilisation des bases de données : modélisation, indexation, requêtes complexes
- Aider les équipes métier à modéliser leur schéma de données
- Maintien de l'infrastructure existante
- Assurer le niveau de performance du traitement des données en fonction des besoins et leur intégrité
- Capitaliser sur les chaînes de traitement et apporter une vision générique , transposable et scalable
- Documentation : chaînes de traitement, l'infrastructure, catalogue de données
- Mise à disposition des données à des fins de Machine Learning


Stack :

- Data : GCP (GCP, BigQuery, Cloud Composer, Cloud Data Proc, Cloud PubSub)
- BI: Tableau
- Infrastructure générale : Google Cloud Platform
- Docker & orchestration générale : Kubernetes
- Code et CI/CD plateforme : gitlab & gitlab-CI
- Database plateforme: Big Query, MongoDB, MySQL, Vertica
- Message-broking : RabbitMQ

Profil recherché :



- Vous avez des connaissances pointues sur les outils types ETL/ELT (AirFlow)
- Vous maitrisez le langage Python et les systèmes de base de données xSQL ou orienté document.
- Vous avez de l'expérience avec le production-grade code (design pattern, test unitaire et d'intégration, CI/CD, )
- Vous avez déjà travaillé sur du Cloud, de préférence GCP
- Des connaissances en Scala, RabbitMQ, Gitlab, Docker sont un plus
- Vous êtes pragmatique, prêt à travailler en équipe agile dans un environnement vivant
- Vous savez lire, écrire mais aussi parler suffisamment en anglais pour travailler avec des collègues anglophones.

Entreprise :



Secteur : monétique

Postuler à cette mission :
Si vous cherchez un CDI ou CDD, le jobboard Carriere-info est plus adapté.