Consultant Big data Scala/Spark

Publiée le 28/12/2021 par DATSUP

Lieu : La Défense (92)
Durée : 2 années
Tarif : Tarif non renseigné
Télétravail : 75 %
Début : ASAP

Description de la mission :



Projet de migration de la plateforme Data de mon client vers le cloud Azure.
Vous travaillerez notamment à la reconstruction de la solution de datawarehouse sur Azure (ingestion de données, transformation de données, business views).

Compétences requises
- Spark/Scala (API dataframe, dataset, rdd) + Bibliothèque ScalaTest
- IDE : Intellij, Visual Studio Code, Visual Studio
- Expérience de travail avec des données de différents formats (np. Avro, Parquet, JSON, CSV/Excel, Delta)
- Python (souhaitable)
- Connaissance de Kafka, Impala (souhaitable)
- SQL
- très bon anglais
- Expérience en environnement DevOps (terraform, docker, kubernetes)
- compétences générales : compétences en communication, autogestion, compétences ETL, travail d'équipe, partage des connaissances, orientation qualité et objectifs, bonne organisation.



Postuler à cette mission :
Si vous cherchez un CDI ou CDD, le jobboard Carriere-info est plus adapté.