Data Engineer Stockage : HDFS / GCS Spark / Kafka / Scala

Publiée le 06/04/2021 par WorldWide People

Lieu : Charenton-le-Pont
Durée : 5 mois renouvelable
Tarif : 400 €
Télétravail : Non
Début : ASAP
logo WorldWide People

Description de la mission :



Data Engineer Data Engineer Stockage : HDFS / GCS Spark / Kafka / Scala

Connaissances techniques :
Stockage : HDFS / GCS
Traitement: Maitrise de l'écosystème Spark / Kafka / Scala
Planification : Airflow / Composer
Gouvernance : Apache Atlas / Hive
Méthodologies : Scrum, Kanban, Git
DWH : SQL, Oracle / BigQuery
Delivery : Git, Ansible, Docker, Terraform, Jenkins / Cloud Build
La connaissance de la plateforme Data GCP est un plus
La connaissance de la plateforme Amadea/Statmining est un plus

Objectifs :
Récupérer les données issues de sources externes
Utiliser la puissance du Datalake
Produire et mettre à disposition automatiquement des agrégats journaliers, hebdomadaires et mensuels.

Mise en œuvre de la chaîne :
o d'ingestion de données,
o de validation de données,
o de crois...

Voir plus | Connectez-vous / inscrivez-vous

Postuler à cette mission :
Si vous cherchez un CDI ou CDD, le jobboard Carriere-info est plus adapté.