Microsoft kunngjør Azure Databricks for streaminganalyseprosjekter med høyest ytelse

Databricks tilbyr en Unified Analytics-plattform for datavitenskapsteam som kan samarbeide med datateknikk og bransjer for å bygge dataprodukter. På Connect() utviklerarrangement i dag, Microsoft annonsert den nye Azure Databricks-tjeneste for streaminganalyseprosjekter med høyest ytelse. Microsoft jobbet med grunnleggerne av Apache Spark for denne nye tjenesten. Azure Databricks er en Apache Spark-basert analyseplattform som leverer ett-klikks oppsett, strømlinjeformede arbeidsflyter og et interaktivt arbeidsområde. Azure Databricks kommer også med innebygd integrasjon med Azure SQL Data Warehouse, Azure Storage, Azure Cosmos DB, Azure Active Directory og Power BI. Les om denne integrasjonen nedenfor.

• Mangfold av VM-typer: Kunder kan bruke alle eksisterende VM-er, inkludert F-serien for maskinlæringsscenarier, M-serien for massive minnescenarier, D-serien for generelle formål, etc.
• Sikkerhet og personvern: I Azure er eierskap og kontroll av data hos kunden. Vi har bygget Azure Databricks for å overholde disse standardene. Vi tar sikte på at Azure Databricks skal levere alle samsvarssertifiseringene som resten av Azure følger.
• Fleksibilitet i nettverkstopologi: Kunder har et mangfold av nettverksinfrastrukturbehov. Azure Databricks støtter distribusjoner i kunde-VNET-er, som kan kontrollere hvilke kilder og synker som kan nås og hvordan de får tilgang.
• Azure Storage og Azure Data Lake-integrasjon: Disse lagringstjenestene blir eksponert for Databricks-brukere via DBFS for å gi hurtigbufring og optimalisert analyse over eksisterende data.
• Azure Power BI: Brukere kan koble Power BI direkte til Databricks-klyngene sine ved hjelp av JDBC for å spørre om data interaktivt i massiv skala ved hjelp av kjente verktøy.
• Azure Active Directory gir kontroller for tilgang til ressurser og er allerede i bruk i de fleste bedrifter. Azure Databricks-arbeidsområder distribueres i kundeabonnementer, så naturligvis kan AAD brukes til å kontrollere tilgang til kilder, resultater og jobber.
• Azure SQL Data Warehouse, Azure SQL DB og Azure CosmosDB: Azure Databricks laster enkelt og effektivt opp resultater til disse tjenestene for videre analyse og sanntidsservering, noe som gjør det enkelt å bygge ende-til-ende dataarkitekturer på Azure.
• Internt bruker vi Azure Container Services til å kjøre Azure Databricks kontrollplan og dataplan via containere.
• Accelerated Networking gir den raskeste virtualiserte nettverksinfrastrukturen i skyen. Azure Databricks bruker dette for å forbedre Spark-ytelsen ytterligere.
• Den siste generasjonen av Azure-maskinvare (Dv3 VM-er), med NvMe SSD-er som er i stand til flammende 100us-latens på IO. Disse gjør Databricks I/O-ytelse enda bedre.

På et relatert notat kunngjorde Microsoft i dag at de slutter seg til MariaDB Foundation som et platinamedlem. Snart vil de gi ut en forhåndsvisning av Azure Database for MariaDB for en fullstendig administrert MariaDB-tjeneste i skyen. De kunngjorde også at Apache Cassandra API-støtte for Cosmos DB. De vil tilby Cassandra som en tjeneste over nøkkelferdig global distribusjon, flere konsistensnivåer og bransjeledende SLAer.