Microsoft, 고성능 스트리밍 분석 프로젝트를 위한 Azure Databricks 발표

Databricks는 데이터 과학 팀이 데이터 엔지니어링 및 비즈니스 라인과 협력하여 데이터 제품을 구축할 수 있도록 통합 분석 플랫폼을 제공합니다. Microsoft는 오늘 Connect() 개발자 이벤트에서 발표 새로운 Azure Databricks 서비스 고성능 스트리밍 분석 프로젝트용. Microsoft는 이 새로운 서비스를 위해 Apache Spark의 설립자들과 협력했습니다. Azure Databricks는 원클릭 설정, 간소화된 워크플로 및 대화형 작업 영역을 제공하는 Apache Spark 기반 분석 플랫폼입니다. Azure Databricks는 또한 Azure SQL Data Warehouse, Azure Storage, Azure Cosmos DB, Azure Active Directory 및 Power BI와의 기본 통합과 함께 제공됩니다. 아래에서 이 통합에 대해 읽어보세요.

• 다양한 VM 유형: 고객은 머신 러닝 시나리오용 F 시리즈, 대용량 메모리 시나리오용 M 시리즈, 범용 D 시리즈 등 기존의 모든 VM을 사용할 수 있습니다.
• 보안 및 개인 정보 보호: Azure에서 데이터의 소유권과 제어는 고객에게 있습니다. 이러한 표준을 준수하기 위해 Azure Databricks를 구축했습니다. 우리는 Azure Databricks가 나머지 Azure가 준수하는 모든 규정 준수 인증을 제공하는 것을 목표로 합니다.
• 네트워크 토폴로지의 유연성: 고객은 다양한 네트워크 인프라 요구 사항을 가지고 있습니다. Azure Databricks는 액세스할 수 있는 원본 및 싱크와 액세스 방법을 제어할 수 있는 고객 VNET에서의 배포를 지원합니다.
• Azure Storage 및 Azure Data Lake 통합: 이러한 스토리지 서비스는 DBFS를 통해 Databricks 사용자에게 노출되어 기존 데이터에 대한 캐싱 및 최적화된 분석을 제공합니다.
• Azure Power BI: 사용자는 친숙한 도구를 사용하여 대규모로 대화형으로 데이터를 쿼리하기 위해 JDBC를 사용하여 Power BI를 Databricks 클러스터에 직접 연결할 수 있습니다.
• Azure Active Directory는 리소스에 대한 액세스 제어를 제공하며 대부분의 기업에서 이미 사용되고 있습니다. Azure Databricks 작업 영역은 고객 구독에 배포되므로 자연스럽게 AAD를 사용하여 원본, 결과 및 작업에 대한 액세스를 제어할 수 있습니다.
• Azure SQL Data Warehouse, Azure SQL DB 및 Azure CosmosDB: Azure Databricks는 추가 분석 및 실시간 제공을 위해 이러한 서비스에 결과를 쉽고 효율적으로 업로드하므로 Azure에서 종단 간 데이터 아키텍처를 간단하게 구축할 수 있습니다.
• 내부적으로 Azure Container Services를 사용하여 컨테이너를 통해 Azure Databricks 제어 평면 및 데이터 평면을 실행합니다.
• Accelerated Networking은 클라우드에서 가장 빠른 가상화된 네트워크 인프라를 제공합니다. Azure Databricks는 이를 활용하여 Spark 성능을 더욱 향상시킵니다.
• IO에서 3us의 엄청난 대기 시간을 제공할 수 있는 NvMe SSD가 있는 최신 세대 Azure 하드웨어(Dv100 VM). 이를 통해 Databricks I/O 성능이 더욱 향상됩니다.

이와 관련하여 Microsoft는 오늘 MariaDB Foundation에 플래티넘 회원으로 합류한다고 발표했습니다. 곧 클라우드에서 완전 관리형 MariaDB 서비스를 위한 Azure Database for MariaDB의 미리 보기를 출시할 예정입니다. 그들은 또한 Cosmos DB에 대한 Apache Cassandra API 지원을 발표했습니다. 그들은 턴키 글로벌 배포, 여러 일관성 수준 및 업계 최고의 SLA를 통해 Cassandra를 서비스로 제공할 것입니다.