124 connectés     5 531 missions IT     30 166 CV récents
se connecter | s'inscrire


puce

API Azure Databricks : quoi de neuf ?


Publié le 28/05/20 par Team Freelance-info


Les entreprises sont de plus en plus avides de plateformes de traitement et d'analyse de données unifiées comme la solution cloud collaborative de Databricks, pour leur projets analytiques et d'apprentissage machine. Zoom sur une API en vogue.

Vue d'ensemble de l'API

L'objectif de la plateforme de gestion de données fournie par Databricks : sécuriser nativement les accès cloud et automatiser les déploiements.

En étendant ses fonctions de sécurité et d'administration des espaces de travail, l'API Azure Databricks permet ainsi l'automatisation de la production pour la mise en production des projets analytiques et d'apprentissage machine.

La plateforme Unified Data Analytrics de Databricks se compose d'une couche de stockage (Delta Lake) pour fiabiliser les data lakes, qu'elle fournit des pipelines de données s'appuyant sur Spark, des notebooks collaboratifs, des environnements de machine learning, MLFLow pour gérer le cycle de vie des modèles ML, ainsi que des services d'administration, de sécurité et des intégrations avec les écosystèmes CI/CD (intégration et livraison continues).

Fonctionnalités

L'API Azure Databricks 2.0 prend ainsi en charge les services pour gérer différents éléments : espace de travail, DBFS, clusters, pools d'instance, travaux, bibliothèques, utilisateurs et groupes, jetons, expériences et modèles MLflow.

La sécurité de l'API a été renforcée, ses fonctions d'administration des utilisateurs étendues et des capacités d'automatisation ajoutées. Parmi ses riches fonctionnalités et bénéfices, on pourra citer plus spécifiquement les suivants.

Les outils d'administration de Databricks fournissent des informations sur la consommation des ressources cloud, dans une logique de gouvernance et d'administration fonctionnelles.
Hébergée sur Microsoft Azure ou AWS, elle permet aux entreprises de centraliser sur une seule plateforme l'ensemble de leurs données et l'accès des utilisateurs qui les exploitent, et d'assurer des contrôles de sécurité natifs cloud.
Les clients peuvent ainsi gérer, créer, révoquer et distribuer leurs clés d'encryption portées nativement dans le cloud.
Avec l'évolution des outils d'administration de la plateforme, de nouveaux usages apparaissent, à l'image de la création de zones de travail permettant de séparer logiquement les équipes, et qui peuvent concerner différents clouds ou zones géographiques. Des utilisateurs peuvent si besoin y être rattachés temporairement.
L'API a également renforcé ses capacités d'automatisation sur la partie mise en production de projets analytiques et machine learning, désormais orientées vers les outils de livraison continue CI/CD (Terraforme, Jenkins, MLflow), permettant aux équipes DevOps de construire un système scalable et répétable et de déployer les applications et modèles ML sans passer par la configuration manuelle, dans l'idée de tout rendre “API first”.

Azure Databricks propose deux API REST qui effectuent des tâches différentes : 2.0 et 1.2.
Pour l'administration générale, il conviendra d'utiliser l'API REST 2.0.
L'API REST 1.2 permet quant à elle d'exécuter des commandes directement dans Azure Databricks.


Saviez-vous qu'à l'occasion du Spark+AI Summit, Databricks organisait un “Hackathon for good” autour du Covid-19, du changement climatique et du changement social ? Date limite de participation : le 29 mai. Vous avez participé ? Dites-nous tout !

Pour tout savoir sur l'actualité du secteur informatique, suivez notre blog au quotidien, et décrochez votre prochaine mission sur Freelance Info !





Recruteurs
Accès via Turnover-it :
CVthèque & publication
Nous contacter
Par formulaire
AGSI SAS
75 Rue de Lourmel
75015 PARIS
logo freelance-info.fr
2018 © Copyright AGSI SAS
Conditions d'utilisation