Microsoft kündigt Azure Databricks für leistungsstärkste Streaming-Analyseprojekte an

Databricks bietet eine Unified Analytics-Plattform für Data Science-Teams, um mit Data Engineering und Geschäftsbereichen zusammenzuarbeiten, um Datenprodukte zu erstellen. Auf der heutigen Connect()-Entwicklerveranstaltung hat Microsoft angekündigt das neue Azure Databricks-Dienst für leistungsstärkste Streaming-Analytics-Projekte. Microsoft hat für diesen neuen Dienst mit den Gründern von Apache Spark zusammengearbeitet. Azure Databricks ist eine auf Apache Spark basierende Analyseplattform, die eine Ein-Klick-Einrichtung, optimierte Workflows und einen interaktiven Arbeitsbereich bietet. Azure Databricks verfügt außerdem über eine native Integration mit Azure SQL Data Warehouse, Azure Storage, Azure Cosmos DB, Azure Active Directory und Power BI. Lesen Sie unten mehr über diese Integration.

• Vielfalt der VM-Typen: Kunden können alle vorhandenen VMs verwenden, einschließlich der F-Serie für maschinelle Lernszenarien, der M-Serie für Szenarien mit massivem Arbeitsspeicher, der D-Serie für allgemeine Zwecke usw.
• Sicherheit und Datenschutz: In Azure liegen Eigentum und Kontrolle über Daten beim Kunden. Wir haben Azure Databricks entwickelt, um diese Standards einzuhalten. Wir streben an, dass Azure Databricks alle Konformitätszertifizierungen bereitstellt, an die sich der Rest von Azure hält.
• Flexibilität in der Netzwerktopologie: Kunden haben unterschiedliche Anforderungen an die Netzwerkinfrastruktur. Azure Databricks unterstützt Bereitstellungen in Kunden-VNETs, ​​die steuern können, auf welche Quellen und Senken zugegriffen werden kann und wie auf sie zugegriffen wird.
• Integration von Azure Storage und Azure Data Lake: Diese Speicherdienste werden Databricks-Benutzern über DBFS zur Verfügung gestellt, um Zwischenspeicherung und optimierte Analyse vorhandener Daten bereitzustellen.
• Azure Power BI: Benutzer können Power BI mithilfe von JDBC direkt mit ihren Databricks-Clustern verbinden, um Daten mit vertrauten Tools in großem Umfang interaktiv abzufragen.
• Azure Active Directory bietet Steuerungen für den Zugriff auf Ressourcen und wird bereits in den meisten Unternehmen verwendet. Azure Databricks-Arbeitsbereiche werden in Kundenabonnements bereitgestellt, sodass AAD natürlich verwendet werden kann, um den Zugriff auf Quellen, Ergebnisse und Aufträge zu steuern.
• Azure SQL Data Warehouse, Azure SQL DB und Azure CosmosDB: Azure Databricks lädt Ergebnisse einfach und effizient in diese Dienste zur weiteren Analyse und Bereitstellung in Echtzeit hoch, wodurch es einfach wird, End-to-End-Datenarchitekturen auf Azure zu erstellen.
• Intern verwenden wir Azure Container Services, um die Steuerungsebene und die Datenebenen von Azure Databricks über Container auszuführen.
• Accelerated Networking bietet die schnellste virtualisierte Netzwerkinfrastruktur in der Cloud. Azure Databricks nutzt dies, um die Spark-Leistung weiter zu verbessern.
• Die neueste Generation von Azure-Hardware (Dv3-VMs) mit NvMe-SSDs, die eine Latenz von 100 us bei E/A erreichen können. Dadurch wird die E/A-Leistung von Databricks noch besser.

In diesem Zusammenhang gab Microsoft heute bekannt, dass sie der MariaDB Foundation als Platinmitglied beitreten. Bald werden sie eine Vorschau von Azure Database for MariaDB für einen vollständig verwalteten MariaDB-Dienst in der Cloud veröffentlichen. Sie gaben auch bekannt, dass die Apache Cassandra-API Unterstützung für Cosmos DB bietet. Sie werden Cassandra als Service über einen schlüsselfertigen globalen Vertrieb, mehrere Konsistenzebenen und branchenführende SLAs anbieten.