Microsoft tillkännager Azure Databricks för högpresterande streaminganalysprojekt

Databricks tillhandahåller en Unified Analytics-plattform för datavetenskapsteam som kan samarbeta med datateknik och branscher för att bygga dataprodukter. På Connect() utvecklarevenemang idag, Microsoft meddelade Den nya Azure Databricks-tjänst för högpresterande streaminganalysprojekt. Microsoft arbetade med grundarna av Apache Spark för denna nya tjänst. Azure Databricks är en Apache Spark-baserad analysplattform som levererar ett klick-inställning, strömlinjeformade arbetsflöden och en interaktiv arbetsyta. Azure Databricks kommer också med integrerad integration med Azure SQL Data Warehouse, Azure Storage, Azure Cosmos DB, Azure Active Directory och Power BI. Läs om denna integration nedan.

• Mångfald av virtuella datorer: Kunder kan använda alla befintliga virtuella datorer, inklusive F-serien för scenarier för maskininlärning, M-serien för scenarier för massiva minne, D-serien för allmänna ändamål, etc.
• Säkerhet och integritet: I Azure ligger ägande och kontroll över data hos kunden. Vi har byggt Azure Databricks för att följa dessa standarder. Vi strävar efter att Azure Databricks ska tillhandahålla alla efterlevnadscertifieringar som resten av Azure följer.
• Flexibilitet i nätverkstopologi: Kunder har en mångfald av behov av nätverksinfrastruktur. Azure Databricks stöder distributioner i kundens VNET, som kan styra vilka källor och sänkor som kan nås och hur de nås.
• Azure Storage och Azure Data Lake-integrering: Dessa lagringstjänster exponeras för Databricks-användare via DBFS för att tillhandahålla cachelagring och optimerad analys över befintliga data.
• Azure Power BI: Användare kan ansluta Power BI direkt till sina Databricks-kluster med JDBC för att söka efter data interaktivt i stor skala med välbekanta verktyg.
• Azure Active Directory tillhandahåller kontroller av åtkomst till resurser och används redan i de flesta företag. Azure Databricks arbetsytor distribueras i kundprenumerationer, så naturligtvis kan AAD användas för att kontrollera åtkomst till källor, resultat och jobb.
• Azure SQL Data Warehouse, Azure SQL DB och Azure CosmosDB: Azure Databricks laddar enkelt och effektivt upp resultat till dessa tjänster för ytterligare analys och realtidsvisning, vilket gör det enkelt att bygga end-to-end dataarkitekturer på Azure.
• Internt använder vi Azure Container Services för att köra Azure Databricks kontrollplan och dataplan via containrar.
• Accelerated Networking ger den snabbaste virtualiserade nätverksinfrastrukturen i molnet. Azure Databricks använder detta för att ytterligare förbättra Spark-prestandan.
• Den senaste generationen av Azure-hårdvara (Dv3 virtuella datorer), med NvMe SSD:er som klarar av 100us latens på IO. Dessa gör Databricks I/O-prestanda ännu bättre.

På en relaterad anteckning meddelade Microsoft idag att de går med i MariaDB Foundation som platinamedlem. Snart kommer de att släppa en förhandsvisning av Azure Database for MariaDB för en helt hanterad MariaDB-tjänst i molnet. De meddelade också att Apache Cassandra API stöder Cosmos DB. De kommer att erbjuda Cassandra som en tjänst över nyckelfärdig global distribution, flera konsistensnivåer och branschledande SLA.