Microsoft annuncia Azure Databricks per progetti di analisi di streaming con le prestazioni più elevate

Databricks fornisce una piattaforma di analisi unificata per consentire ai team di data science di collaborare con l'ingegneria dei dati e le linee di business per creare prodotti di dati. All'evento per sviluppatori Connect() di oggi, Microsoft ha annunciato il nuovo Servizio Azure Databricks per progetti di analisi di streaming dalle prestazioni più elevate. Microsoft ha collaborato con i fondatori di Apache Spark per questo nuovo servizio. Azure Databricks è una piattaforma di analisi basata su Apache Spark che offre configurazione con un clic, flussi di lavoro semplificati e un'area di lavoro interattiva. Azure Databricks include anche l'integrazione nativa con Azure SQL Data Warehouse, Archiviazione di Azure, Azure Cosmos DB, Azure Active Directory e Power BI. Leggi di seguito questa integrazione.

• Diversità di tipi di macchine virtuali: i clienti possono utilizzare tutte le macchine virtuali esistenti, inclusa la serie F per scenari di apprendimento automatico, la serie M per scenari di memoria massiccia, la serie D per scopi generici, ecc.
• Sicurezza e privacy: in Azure, la proprietà e il controllo dei dati spetta al cliente. Abbiamo creato Azure Databricks per aderire a questi standard. Il nostro obiettivo è che Azure Databricks fornisca tutte le certificazioni di conformità a cui aderisce il resto di Azure.
• Flessibilità nella topologia di rete: i clienti hanno una varietà di esigenze di infrastruttura di rete. Azure Databricks supporta le distribuzioni nelle reti virtuali dei clienti, che possono controllare a quali origini e sink è possibile accedere e come accedervi.
• Archiviazione di Azure e integrazione di Azure Data Lake: questi servizi di archiviazione sono esposti agli utenti di Databricks tramite DBFS per fornire la memorizzazione nella cache e l'analisi ottimizzata sui dati esistenti.
• Azure Power BI: gli utenti possono connettere Power BI direttamente ai propri cluster Databricks usando JDBC per eseguire query sui dati in modo interattivo su vasta scala usando strumenti familiari.
• Azure Active Directory fornisce controlli di accesso alle risorse ed è già in uso nella maggior parte delle aziende. Le aree di lavoro di Azure Databricks vengono distribuite nelle sottoscrizioni dei clienti, quindi naturalmente AAD può essere usato per controllare l'accesso a origini, risultati e processi.
• Azure SQL Data Warehouse, Azure SQL DB e Azure CosmosDB: Azure Databricks carica in modo semplice ed efficiente i risultati in questi servizi per ulteriori analisi e pubblicazione in tempo reale, semplificando la creazione di architetture di dati end-to-end in Azure.
• Internamente, utilizziamo Azure Container Services per eseguire il piano di controllo e i piani dati di Azure Databricks tramite i contenitori.
• Accelerated Networking fornisce l'infrastruttura di rete virtualizzata più veloce nel cloud. Azure Databricks lo usa per migliorare ulteriormente le prestazioni di Spark.
• L'ultima generazione di hardware Azure (VM Dv3), con SSD NvMe in grado di raggiungere una latenza di 100 us su IO. Questi rendono le prestazioni I/O di Databricks ancora migliori.

In una nota correlata, Microsoft ha annunciato oggi che si unirà a MariaDB Foundation come membro platino. Presto rilasceranno un'anteprima del database di Azure per MariaDB per un servizio MariaDB completamente gestito nel cloud. Hanno anche annunciato il supporto dell'API Apache Cassandra per Cosmos DB. Offriranno Cassandra come servizio attraverso una distribuzione globale chiavi in ​​mano, più livelli di coerenza e SLA leader del settore.