Microsoft annoncerer Azure Databricks til højtydende streaminganalyseprojekter

Databricks leverer en Unified Analytics Platform, hvor datavidenskabsteams kan samarbejde med datateknik og forretningsområder for at bygge dataprodukter. Ved Connect() udviklerbegivenhed i dag, Microsoft annoncerede den nye Azure Databricks-tjeneste for højtydende streaminganalyseprojekter. Microsoft arbejdede sammen med grundlæggerne af Apache Spark for denne nye tjeneste. Azure Databricks er en Apache Spark-baseret analyseplatform, der leverer opsætning med et enkelt klik, strømlinede arbejdsgange og et interaktivt arbejdsområde. Azure Databricks leveres også med native integration med Azure SQL Data Warehouse, Azure Storage, Azure Cosmos DB, Azure Active Directory og Power BI. Læs om denne integration nedenfor.

• Mangfoldighed af VM-typer: Kunder kan bruge alle eksisterende VM'er inklusive F-serien til maskinlæringsscenarier, M-serien til massive hukommelsesscenarier, D-serien til generelle formål osv.
• Sikkerhed og privatliv: I Azure er ejerskab og kontrol af data hos kunden. Vi har bygget Azure Databricks til at overholde disse standarder. Vi sigter efter, at Azure Databricks leverer alle de overholdelsescertificeringer, som resten af ​​Azure overholder.
• Fleksibilitet i netværkstopologi: Kunder har en mangfoldighed af netværksinfrastrukturbehov. Azure Databricks understøtter implementeringer i kunde-VNET'er, som kan kontrollere, hvilke kilder og sinks der kan tilgås, og hvordan de tilgås.
• Azure Storage og Azure Data Lake-integration: Disse lagertjenester eksponeres for Databricks-brugere via DBFS for at levere caching og optimeret analyse over eksisterende data.
• Azure Power BI: Brugere kan forbinde Power BI direkte til deres Databricks-klynger ved hjælp af JDBC for at forespørge data interaktivt i massiv skala ved hjælp af velkendte værktøjer.
• Azure Active Directory giver kontrol over adgang til ressourcer og er allerede i brug i de fleste virksomheder. Azure Databricks-arbejdsområder implementeres i kundeabonnementer, så AAD kan naturligvis bruges til at kontrollere adgangen til kilder, resultater og job.
• Azure SQL Data Warehouse, Azure SQL DB og Azure CosmosDB: Azure Databricks uploader nemt og effektivt resultater til disse tjenester til yderligere analyse og realtidsvisning, hvilket gør det nemt at bygge end-to-end dataarkitekturer på Azure.
• Internt bruger vi Azure Container Services til at køre Azure Databricks kontrolplan og dataplan via containere.
• Accelerated Networking giver den hurtigste virtualiserede netværksinfrastruktur i skyen. Azure Databricks bruger dette til yderligere at forbedre Spark-ydeevnen.
• Den seneste generation af Azure-hardware (Dv3 VM'er) med NvMe SSD'er, der er i stand til flammende 100us latency på IO. Disse gør Databricks I/O-ydeevne endnu bedre.

På en relateret note meddelte Microsoft i dag, at de slutter sig til MariaDB Foundation som platinmedlem. Snart vil de frigive en forhåndsvisning af Azure Database for MariaDB til en fuldt administreret MariaDB-tjeneste i skyen. De annoncerede også, at Apache Cassandra API understøtter Cosmos DB. De vil tilbyde Cassandra som en service over nøglefærdig global distribution, flere konsistensniveauer og brancheførende SLA'er.