Data engineer HDFS / GCS Spark / Kafka / Scala Airflow / Composer Apache Atlas / Hive

Description de la mission :

Data engineer HDFS / GCS Spark / Kafka / Scala Airflow / Composer Apache Atlas / Hive
Stockage : HDFS / GCS
Traitement: Maitrise de l’écosystème Spark / Kafka / Scala
Planification : Airflow / Composer
Gouvernance :
Méthodologies : Scrum, Kanban, Git
DWH : SQL, Oracle / BigQuery
Delivery : Git, Ansible, Docker, Terraform, Jenkins / Cloud Build
La connaissance de la plateforme Data GCP est un plus
La connaissance de la plateforme Amadea/Statmining est un plus

Besoin :
Récupérer les données issues de sources externes
Utiliser la puissance du Datalake
Produire et mettre à disposition automatiquement des agrégats journaliers, hebdomadaires et mensuels.

Mise en oeuvre de la chaîne :
o d’ingestion de données,
o de validation de données,
o de croisement de données,
o de déversement dans le datalake des données enrichies

Développer dans le respect des règles d’architecture définies
Développer et documenter les user stories avec l’assistance du Product Owner.
Produire les scripts de déploi...

Voir plus | Connectez-vous / inscrivez-vous