100 % FREELANCE 100 % IT
100 % FREELANCE 100 % IT
 

Dév en big data et machine learning, quelles technos ?

Laura.p63

6 Messages

nouveau
12/01/2021 à 12:05

Bonjour à tous !

Actuellement développeur .net, je voudrais monter en compétences dans les domaines du big data et du machine learning. 

J'ai fait quelques recherches niveau formation mais je  trouve beaucoup de technos et langages différents. 
Idem côté offres de mission, je trouve notamment des demandes pour Java ( framework Hadoop), Python  (avec les packages Numpy, Scikit-learn, etc...). J'ai également vu passer des demandes pour des profils expérimentés en Apache Spark et TensorFlow.

Auriez-vous des conseils sur par quoi commencer ?

Merci !

Anthaus

69 Messages

actif
13/01/2021 à 14:19

Si vous voulez faire du Machine Learning, Python est devenu absolument incontournable. Autant R se défendait encore il y a quelques années, autant maintenant le match est plié.

Pour ce qui est plus Big Data Engineering, datalakes etc... je connais moins bien, mais j'ai l'impression qu'il y a un peu plus de choix (Java, Python, Scala). Néanmoins, la tendance est plutôt à se tourner vers du cloud, et j'ai l'impression que les entreprises sotockent de plus en plus leurs données sur des buckets S3, accessibles par AWS, par exemple, plutôt que de passer par du HDFS/Hadoop. Après, concernant ce dernier point, je suggère d'attendre l'avis de personnes plus proches de ces questions au quotidien.

Laura.p63

6 Messages

nouveau
14/01/2021 à 07:08

Merci beaucoup pour votre réponse car je regardais aussi justement du côté de R, vu sa popularité dans les classements.
Python me paraît incontournable pour beaucoup de domamine en fait donc je vais effectivement commencer par là, je viens justement de trouver une formation avec le package NumPy

Anthaus

69 Messages

actif
14/01/2021 à 09:34

Oui, dès qu'il y a de la donnée en Python, le duo NumPy/Pandas est devenu incontournable. Ils sont même utilisés maintenant sur des projets non-IA dans lesquels il y a quand même des données (typiquement, l'accès aux bases de données de type SQL va se faire en Python via un ORM, et derrière, leur traitement utilisera pandas voir numpy).
Concernant les frameworks de ML, on n'a pas encore le même monopole, mais j'ai l'impression que, la plupart du temps, les clients laissent leurs experts choisir ce qu'ils préfèrent. Globalement ce n'est pas très compliqué de passer de l'un à l'autre de toutes façons. Historiquement, ils sont tous plus ou moins basés sur scikit-learn, et plus récemment sur tensorflow.