Microsoft kondigt Azure Databricks aan voor best presterende streaminganalyseprojecten

Databricks biedt een Unified Analytics Platform voor datawetenschapsteams om samen te werken met data-engineering en bedrijfstakken om dataproducten te bouwen. Op het Connect()-ontwikkelaarsevenement vandaag, Microsoft aangekondigd de nieuwe Azure Databricks-service voor de best presterende streaming-analyseprojecten. Microsoft werkte voor deze nieuwe dienst samen met de oprichters van Apache Spark. Azure Databricks is een op Apache Spark gebaseerd analyseplatform dat installatie met één klik, gestroomlijnde werkstromen en een interactieve werkruimte biedt. Azure Databricks wordt ook geleverd met systeemeigen integratie met Azure SQL Data Warehouse, Azure Storage, Azure Cosmos DB, Azure Active Directory en Power BI. Lees hieronder meer over deze integratie.

• Diversiteit aan VM-typen: klanten kunnen alle bestaande VM's gebruiken, inclusief de F-serie voor machine learning-scenario's, M-series voor massieve geheugenscenario's, D-series voor algemene doeleinden, enz.
• Beveiliging en privacy: in Azure ligt het eigendom van en de controle over gegevens bij de klant. We hebben Azure Databricks gebouwd om aan deze normen te voldoen. We streven ernaar dat Azure Databricks alle nalevingscertificeringen biedt waaraan de rest van Azure zich houdt.
• Flexibiliteit in netwerktopologie: klanten hebben uiteenlopende behoeften aan netwerkinfrastructuur. Azure Databricks ondersteunt implementaties in VNET's van klanten, die kunnen bepalen welke bronnen en sinks toegankelijk zijn en hoe ze worden geopend.
• Azure Storage en Azure Data Lake-integratie: deze opslagservices worden via DBFS blootgesteld aan Databricks-gebruikers om caching en geoptimaliseerde analyse over bestaande gegevens te bieden.
• Azure Power BI: gebruikers kunnen Power BI rechtstreeks verbinden met hun Databricks-clusters met behulp van JDBC om op grote schaal interactief gegevens op te vragen met behulp van bekende hulpprogramma's.
• Azure Active Directory biedt controle over de toegang tot resources en wordt al in de meeste ondernemingen gebruikt. Azure Databricks-werkruimten worden geïmplementeerd in klantabonnementen, dus natuurlijk kan AAD worden gebruikt om de toegang tot bronnen, resultaten en taken te beheren.
• Azure SQL Data Warehouse, Azure SQL DB en Azure CosmosDB: Azure Databricks uploadt eenvoudig en efficiënt resultaten naar deze services voor verdere analyse en realtime weergave, waardoor het eenvoudig wordt om end-to-end data-architecturen op Azure te bouwen.
• Intern gebruiken we Azure Container Services om het Azure Databricks control-plane en data-planes via containers te laten draaien.
• Accelerated Networking biedt de snelste gevirtualiseerde netwerkinfrastructuur in de cloud. Azure Databricks gebruikt dit om de Spark-prestaties verder te verbeteren.
• De nieuwste generatie Azure-hardware (Dv3-VM's), met NvMe SSD's die een latentie van 100us op IO kunnen veroorzaken. Deze maken Databricks I/O-prestaties nog beter.

In verband hiermee heeft Microsoft vandaag aangekondigd dat ze zich als platina-lid bij MariaDB Foundation voegen. Binnenkort brengen ze een preview uit van Azure Database for MariaDB voor een volledig beheerde MariaDB-service in de cloud. Ze hebben ook aangekondigd dat Apache Cassandra API-ondersteuning voor Cosmos DB. Ze zullen Cassandra als een service aanbieden via kant-en-klare wereldwijde distributie, meerdere consistentieniveaus en toonaangevende SLA's.