Microsoft anunță Azure Databricks pentru proiecte de analiză de streaming de cea mai înaltă performanță

Databricks oferă o platformă de analiză unificată pentru echipele de știință a datelor pentru a colabora cu ingineria datelor și liniile de afaceri pentru a construi produse de date. La evenimentul pentru dezvoltatori Connect() de astăzi, Microsoft a anunțat noul Serviciul Azure Databricks pentru proiecte de analiză de streaming de cea mai înaltă performanță. Microsoft a lucrat cu fondatorii Apache Spark pentru acest nou serviciu. Azure Databricks este o platformă de analiză bazată pe Apache Spark, care oferă o configurare cu un singur clic, fluxuri de lucru optimizate și un spațiu de lucru interactiv. Azure Databricks vine și cu integrarea nativă cu Azure SQL Data Warehouse, Azure Storage, Azure Cosmos DB, Azure Active Directory și Power BI. Citiți mai jos despre această integrare.

• Diversitatea tipurilor de VM: clienții pot folosi toate VM-urile existente, inclusiv seria F pentru scenarii de învățare automată, seria M pentru scenarii de memorie masivă, seria D pentru scopuri generale etc.
• Securitate și confidențialitate: în Azure, proprietatea și controlul datelor revin clientului. Am construit Azure Databricks pentru a adera la aceste standarde. Ne propunem ca Azure Databricks să ofere toate certificările de conformitate la care aderă restul Azure.
• Flexibilitate în topologia rețelei: clienții au o diversitate de nevoi de infrastructură de rețea. Azure Databricks acceptă implementări în VNET-urile clienților, care pot controla ce surse și receptori pot fi accesate și cum sunt accesate.
• Integrarea Azure Storage și Azure Data Lake: Aceste servicii de stocare sunt expuse utilizatorilor Databricks prin DBFS pentru a oferi stocare în cache și analiză optimizată a datelor existente.
• Azure Power BI: utilizatorii pot conecta Power BI direct la clusterele lor Databricks folosind JDBC pentru a interoga datele în mod interactiv la scară masivă, folosind instrumente familiare.
• Azure Active Directory oferă controale de acces la resurse și este deja utilizat în majoritatea întreprinderilor. Spațiile de lucru Azure Databricks sunt implementate în abonamentele clienților, așa că, în mod natural, AAD poate fi utilizat pentru a controla accesul la surse, rezultate și locuri de muncă.
• Azure SQL Data Warehouse, Azure SQL DB și Azure CosmosDB: Azure Databricks încarcă cu ușurință și eficient rezultatele în aceste servicii pentru analize ulterioare și servire în timp real, făcând simplă construirea arhitecturii de date end-to-end pe Azure.
• Pe plan intern, folosim Azure Container Services pentru a rula planul de control și planurile de date Azure Databricks prin intermediul containerelor.
• Accelerated Networking oferă cea mai rapidă infrastructură de rețea virtualizată din cloud. Azure Databricks folosește acest lucru pentru a îmbunătăți și mai mult performanța Spark.
• Cea mai recentă generație de hardware Azure (VM-uri Dv3), cu SSD-uri NvMe capabile să crească o latență de 100 us pe IO. Acestea fac performanța Databricks I/O și mai bună.

Într-o notă similară, Microsoft a anunțat astăzi că se alătură Fundației MariaDB ca membru platină. În curând, vor lansa o previzualizare a bazei de date Azure pentru MariaDB pentru un serviciu MariaDB complet gestionat în cloud. De asemenea, au anunțat că Apache Cassandra API suportă pentru Cosmos DB. Ei vor oferi Cassandra ca serviciu peste distribuția globală la cheie, mai multe niveluri de consistență și SLA-uri de lider în industrie.