Data Engineer / Data Management 4ans minimum

Publiée le 22/04/2021 par CARBON IT

Lieu : Paris
Durée : 1an minimum
Tarif : 500-550 €
Télétravail : 75 %
Début : Fin Avril 2021

Description de la mission :



Data Management - Data engineer DOD

Besoin : Récupérer les données issues de sources externes
- Utiliser la puissance du Datalake
- Produire et mettre à disposition automatiquement des agrégats journaliers, hebdomadaires et mensuels.

Mise en oeuvre de la chaîne :

o d'ingestion de données,
o de validation de données,
o de croisement de données,
o de déversement dans le datalake des données enrichies

- Développer dans le respect des règles d'architecture définies
- Développer et documenter les user stories avec l'assistance du Product Owner.
- Produire les scripts de déploiement
- Prioriser les corrections des anomalies
- Assister les équipes d'exploitation
- Participer à la mise en oeuvre de la chaîne de delivery continue
- Automatiser les tests fonctionnels

Aspects Humains :
- Grande capacité à travailler dans une équipe, en mode Scrum / Kanban.
- Bonnes compétences relationnelles et grand sens de la communication (capacité à entrer dans le détail).
- Sensible et informé des évolutions technologiques sur les piles logicielles pratiquées.

Connaissances techniques :
- Stockage : HDFS / GCS
- Traitement: Maitrise de l'écosystème Spark / Kafka / Scala
- Planification : Airflow / Composer
- Gouvernance : Apache Atlas / Hive
- Méthodologies : Scrum, Kanban, Git
- DWH : SQL, Oracle / BigQuery
- Delivery : Git, Ansible, Docker, Te...

Voir plus | Connectez-vous / inscrivez-vous

Postuler à cette mission :
Si vous cherchez un CDI ou CDD, le jobboard Carriere-info est plus adapté.