Microsoft annonce Azure Databricks pour les projets d'analyse de flux les plus performants

Databricks fournit une plate-forme d'analyse unifiée permettant aux équipes de science des données de collaborer avec l'ingénierie des données et les secteurs d'activité pour créer des produits de données. Lors de l'événement développeur Connect() aujourd'hui, Microsoft annoncé la nouvelle Service Azure Databricks pour les projets d'analyse de flux les plus performants. Microsoft a travaillé avec les fondateurs d'Apache Spark pour ce nouveau service. Azure Databricks est une plateforme d'analyse basée sur Apache Spark qui offre une configuration en un clic, des flux de travail rationalisés et un espace de travail interactif. Azure Databricks est également livré avec une intégration native avec Azure SQL Data Warehouse, Azure Storage, Azure Cosmos DB, Azure Active Directory et Power BI. Découvrez cette intégration ci-dessous.

• Diversité des types de machines virtuelles : les clients peuvent utiliser toutes les machines virtuelles existantes, y compris la série F pour les scénarios d'apprentissage automatique, la série M pour les scénarios de mémoire massive, la série D à usage général, etc.
• Sécurité et confidentialité : dans Azure, la propriété et le contrôle des données incombent au client. Nous avons construit Azure Databricks pour respecter ces normes. Notre objectif est qu'Azure Databricks fournisse toutes les certifications de conformité auxquelles le reste d'Azure adhère.
• Flexibilité dans la topologie du réseau : Les clients ont une diversité de besoins d'infrastructure réseau. Azure Databricks prend en charge les déploiements dans les VNET clients, qui peuvent contrôler les sources et les récepteurs accessibles et la manière dont ils sont accessibles.
• Intégration Azure Storage et Azure Data Lake : ces services de stockage sont exposés aux utilisateurs de Databricks via DBFS pour fournir une mise en cache et une analyse optimisée des données existantes.
• Azure Power BI : les utilisateurs peuvent connecter Power BI directement à leurs clusters Databricks à l'aide de JDBC afin d'interroger des données de manière interactive à grande échelle à l'aide d'outils familiers.
• Azure Active Directory fournit des contrôles d'accès aux ressources et est déjà utilisé dans la plupart des entreprises. Les espaces de travail Azure Databricks se déploient dans les abonnements des clients, donc AAD peut naturellement être utilisé pour contrôler l'accès aux sources, aux résultats et aux travaux.
• Azure SQL Data Warehouse, Azure SQL DB et Azure CosmosDB : Azure Databricks télécharge facilement et efficacement les résultats dans ces services pour une analyse plus approfondie et un service en temps réel, ce qui simplifie la création d'architectures de données de bout en bout sur Azure.
• En interne, nous utilisons Azure Container Services pour exécuter le plan de contrôle et les plans de données Azure Databricks via des conteneurs.
• La mise en réseau accélérée fournit l'infrastructure réseau virtualisée la plus rapide dans le cloud. Azure Databricks l'utilise pour améliorer encore les performances de Spark.
• La dernière génération de matériel Azure (VM Dv3), avec des SSD NvMe capables d'atteindre une latence de 100 us sur les E/S. Ceux-ci améliorent encore les performances d'E/S de Databricks.

Dans le même ordre d'idées, Microsoft a annoncé aujourd'hui qu'il rejoignait MariaDB Foundation en tant que membre Platinum. Bientôt, ils publieront un aperçu d'Azure Database pour MariaDB pour un service MariaDB entièrement géré dans le cloud. Ils ont également annoncé la prise en charge de l'API Apache Cassandra pour Cosmos DB. Ils offriront Cassandra en tant que service sur une distribution mondiale clé en main, plusieurs niveaux de cohérence et des SLA de pointe.