Data engineer HDFS / GCS Spark / Kafka / Scala Airflow / Composer Apache Atlas / Hive

Publiée le 12/01/2021 par WorldWide People

Lieu : Charenton-le-Pont
Durée : 6 mois renouvelables
Tarif : 500 €
Télétravail : Non
Début : ASAP
logo WorldWide People

Description de la mission :



Data engineer HDFS / GCS Spark / Kafka / Scala Airflow / Composer Apache Atlas / Hive
Stockage : HDFS / GCS
Traitement: Maitrise de l’écosystème Spark / Kafka / Scala
Planification : Airflow / Composer
Gouvernance :
Méthodologies : Scrum, Kanban, Git
DWH : SQL, Oracle / BigQuery
Delivery : Git, Ansible, Docker, Terraform, Jenkins / Cloud Build
La connaissance de la plateforme Data GCP est un plus
La connaissance de la plateforme Amadea/Statmining est un plus

Besoin :
Récupérer les données issues de sources externes
Utiliser la puissance du Datalake
Produire et mettre à disposition automatiquement des agrégats journaliers, hebdomadaires et mensuels.

Mise en oeuvre de la chaîne :
o d’ingestion de données,
o de validation de données,
o de croisement de données,
o de déversement dans le datalake des données enrichies

Développer dans le respect des règles d’architecture définies
Développer et documenter les user stories avec l’assistance du Product Owner.
Produire les scripts de déploi...

Voir plus | Connectez-vous / inscrivez-vous

Postuler à cette mission :
Si vous cherchez un CDI ou CDD, le jobboard Carriere-info est plus adapté.