JAVA/BIG DATA /ANGLAIS Minimum 8 ans d’expériences

Publiée le 17/10/2020 par UMANIS

Lieu : Paris
Durée : 12 mois
Tarif : 450 €
Télétravail : 25 %
Début : asap
logo UMANIS

Description de la mission :



Minimum 8 ans d’expériences 450 euros HT

DEVELOPPEUR JAVA/J2EE/BIG DATA /ANGLAIS
Contexte : Dans le cadre de la mise en place de projets réglementaires, l’équipe est en charge de collecter et de stocker les données des transactions Pre-trade et Post-Trade dans le Datalake. Ce Datalake agit en tant que golden source pour différents consommateurs.

Mission :
Développement d’une API (Rest et Spring boot) qui permet aux sources de charger leurs données au niveau Raw sur HDFS.
Développement d’un Job Spark pour mapper les données et les stocker dans une couche lake dans des tables Hbase.
Développement d’un Job Spark pour enrichir les données et appliquer des transformations en respectant la spécification fonctionnelle
Modélisation et développement d’une application Data Quality qui permet d’appliquer des règles (Accurency, completeness, Timelines, Uniqueness, SLA) sur les données chargées au niveau de la couche du Daas
Participation au Projet Inventory Management qui permet au client d’avoir à la demande une image des données du datalake selon des critères métiers (Business Entiy, Region, cutt off time )
Développement d’une application d’orchestration qui permet de lancer les jobs Spark quand les sources envoient des données et de suivre l’état des Jobs
Monitoring des deux projets DaasLoader et DataQuality en utilisant kibana et Elastic Search
Mise en place de l’architecture technique
Environnement technique : Java 8, Spring Boot, Jersey, Spark 2, Hive, Hbase, Hadoop, Avro, Oozie, Maven, Hudson, sonar, tomcat8, Intellij, kibana, Elastic Search, Git, PostgreSQL, Méthodologie Agile Scrum, JIRA



Langage Java (Scala et python)
Kafka, Spark (streaming), HDP
Méthodes agiles et craft
Livrables Code Java
Documentation : JIVE/Wiki
Spécifications techniques
Autres informations Java 8, Spring, shell/Unix
Documentation : JIVE/Wiki
Kafka, Hive, Hbase, Spark
Méthodes agiles et craft
Cloud Computing: Automation Docker Pratique
Kubernetes Pratique
MS Azure Pratique
Data : BI, big data, datalake, Elastic Search & Kibana Maîtrise
Hadoop (Big Data) Expert
Hive Maîtrise
PostGreSQL Pratique
Spark Expert
Developpement inHouse: web, mobile, API Java Expert
Contexte linguistique Anglais Maîtrise


MINIMUM 8 ans d’expriences 450 euros HT

Minimum 4 ans en big data


Postuler à cette mission :
Si vous cherchez un CDI ou CDD, le jobboard Carriere-info est plus adapté.