Data Engineer Spark / Kafka / Scala

Publiée le 27/04/2021 par WorldWide People

Lieu : Charenton-le-Pont
Durée : 3 mois renouvleables
Tarif : 500 €
Télétravail : Non
Début : ASAP
logo WorldWide People

Description de la mission :



Data Engineer Spark / Kafka / Scala

Connaissances techniques :
Stockage : HDFS / GCS
Traitement: Maitrise de l'écosystème Spark / Kafka / Scala
Planification : Airflow / Composer
Gouvernance : Apache Atlas / Hive
Méthodologies : Scrum, Kanban, Git
DWH : SQL, Oracle / BigQuery
Delivery : Git, Ansible, Docker, Terraform, Jenkins / Cloud Build
La connaissance de la plateforme Data GCP est un plus

Objectifs :
Récupérer les données issues de sources externes
Utiliser la puissance du Datalake
Produire et mettre à disposition automatiquement des agrégats journaliers, hebdomadaires et mensuels.

Mise en œuvre de la chaîne :
o d'ingestion de données,
o de validation de données,
o de croisement de données,
o de déversement dans le datalake des...

Voir plus | Connectez-vous / inscrivez-vous

Postuler à cette mission :
Si vous cherchez un CDI ou CDD, le jobboard Carriere-info est plus adapté.