マイクロソフトは、最高パフォーマンスのストリーミング分析プロジェクト向けのAzureDatabricksを発表しました

Databricksは、データサイエンスチームがデータエンジニアリングや基幹業務と協力してデータ製品を構築するための統合分析プラットフォームを提供します。 今日のConnect（）開発者イベントで、Microsoft 発表の 新しい AzureDatabricksサービス 最高パフォーマンスのストリーミング分析プロジェクト向け。 Microsoftは、この新しいサービスのためにApacheSparkの創設者と協力しました。 Azure Databricksは、Apache Sparkベースの分析プラットフォームであり、ワンクリックセットアップ、合理化されたワークフロー、およびインタラクティブなワークスペースを提供します。 Azure Databricksには、Azure SQL Data Warehouse、Azure Storage、Azure Cosmos DB、Azure Active Directory、およびPowerBIとのネイティブ統合も付属しています。 この統合については、以下をお読みください。

• VMタイプの多様性：お客様は、機械学習シナリオ用のFシリーズ、大容量メモリシナリオ用のMシリーズ、汎用用のDシリーズなど、既存のすべてのVMを使用できます。
• セキュリティとプライバシー：Azureでは、データの所有権と制御はお客様にあります。 これらの標準に準拠するようにAzureDatabricksを構築しました。 Azure Databricksが、Azureの他の部分が準拠するすべてのコンプライアンス認定を提供することを目指しています。
• ネットワークトポロジの柔軟性：お客様には、さまざまなネットワークインフラストラクチャのニーズがあります。 Azure Databricksは、お客様のVNETでの展開をサポートします。これにより、アクセスできるソースとシンク、およびそれらへのアクセス方法を制御できます。
• AzureStorageとAzureData Lakeの統合：これらのストレージサービスは、DBFSを介してDatabricksユーザーに公開され、既存のデータのキャッシュと最適化された分析を提供します。
• Azure Power BI：ユーザーは、JDBCを使用してPower BIをDatabricksクラスターに直接接続し、使い慣れたツールを使用して大規模にインタラクティブにデータをクエリできます。
• Azure Active Directoryは、リソースへのアクセスの制御を提供し、ほとんどの企業ですでに使用されています。 Azure Databricksワークスペースは顧客のサブスクリプションにデプロイされるため、当然、AADを使用して、ソース、結果、およびジョブへのアクセスを制御できます。
• Azure SQL Data Warehouse、Azure SQL DB、およびAzure CosmosDB：Azure Databricksは、結果をこれらのサービスに簡単かつ効率的にアップロードして、詳細な分析とリアルタイムサービスを提供し、Azure上でエンドツーエンドのデータアーキテクチャを簡単に構築できるようにします。
• 内部的には、Azure Container Servicesを使用して、コンテナーを介してAzureDatabricksコントロールプレーンとデータプレーンを実行します。
• Accelerated Networkingは、クラウドで最速の仮想化ネットワークインフラストラクチャを提供します。 Azure Databricksはこれを利用して、Sparkのパフォーマンスをさらに向上させます。
• 最新世代のAzureハードウェア（Dv3 VM）。NvMeSSDは、IOで100usのレイテンシーを実現できます。 これらにより、DatabricksのI / Oパフォーマンスがさらに向上します。

関連するメモとして、Microsoftは本日、PlatinumメンバーとしてMariaDBFoundationに参加することを発表しました。 間もなく、クラウド内のフルマネージドMariaDBサービス用のMariaDB用Azureデータベースのプレビューをリリースする予定です。 また、CosmosDBに対するApacheCassandraAPIのサポートも発表しました。 彼らは、ターンキーグローバルディストリビューション、複数の整合性レベル、および業界をリードするSLAを介したサービスとしてCassandraを提供します。