Microsoft mengumumkan Azure Databricks untuk proyek analitik streaming berkinerja tinggi

Databricks menyediakan Platform Analisis Terpadu bagi tim ilmu data untuk berkolaborasi dengan rekayasa data dan lini bisnis untuk membangun produk data. Di acara pengembang Connect() hari ini, Microsoft mengumumkan yang baru Layanan Azure Databricks untuk proyek analitik streaming berperforma tertinggi. Microsoft bekerja dengan pendiri Apache Spark untuk layanan baru ini. Azure Databricks adalah platform analitik berbasis Apache Spark yang menghadirkan pengaturan satu klik, alur kerja yang disederhanakan, dan ruang kerja interaktif. Azure Databricks juga dilengkapi dengan integrasi asli dengan Azure SQL Data Warehouse, Azure Storage, Azure Cosmos DB, Azure Active Directory, dan Power BI. Baca tentang integrasi ini di bawah.

• Keragaman jenis VM: Pelanggan dapat menggunakan semua VM yang ada termasuk F-series untuk skenario machine learning, M-series untuk skenario memori besar, D-series untuk tujuan umum, dll.
• Keamanan dan Privasi: Di ​​Azure, kepemilikan dan kontrol data ada pada pelanggan. Kami telah membangun Azure Databricks untuk mematuhi standar ini. Kami bertujuan agar Azure Databricks menyediakan semua sertifikasi kepatuhan yang dipatuhi oleh Azure lainnya.
• Fleksibilitas dalam topologi jaringan: Pelanggan memiliki keragaman kebutuhan infrastruktur jaringan. Azure Databricks mendukung penerapan di VNET pelanggan, yang dapat mengontrol sumber dan sink mana yang dapat diakses dan bagaimana mereka diakses.
• Integrasi Azure Storage dan Azure Data Lake: Layanan penyimpanan ini diekspos ke pengguna Databricks melalui DBFS untuk menyediakan cache dan analisis yang dioptimalkan atas data yang ada.
• Azure Power BI: Pengguna dapat menghubungkan Power BI secara langsung ke klaster Databricks mereka menggunakan JDBC untuk melakukan kueri data secara interaktif dalam skala besar menggunakan alat yang sudah dikenal.
• Azure Active Directory menyediakan kontrol akses ke sumber daya dan sudah digunakan di sebagian besar perusahaan. Ruang kerja Azure Databricks diterapkan dalam langganan pelanggan, jadi tentu saja AAD dapat digunakan untuk mengontrol akses ke sumber, hasil, dan pekerjaan.
• Azure SQL Data Warehouse, Azure SQL DB, dan Azure CosmosDB: Azure Databricks dengan mudah dan efisien mengunggah hasil ke layanan ini untuk analisis lebih lanjut dan penyajian real-time, membuatnya mudah untuk membangun arsitektur data ujung ke ujung di Azure.
• Secara internal, kami menggunakan Azure Container Services untuk menjalankan bidang kontrol dan bidang data Azure Databricks melalui wadah.
• Accelerated Networking menyediakan infrastruktur jaringan tervirtualisasi tercepat di cloud. Azure Databricks menggunakan ini untuk lebih meningkatkan kinerja Spark.
• Perangkat keras Azure generasi terbaru (VM Dv3), dengan SSD NvMe yang mampu menghasilkan latensi 100us pada IO. Ini membuat kinerja I/O Databricks menjadi lebih baik.

Pada catatan terkait, Microsoft hari ini mengumumkan bahwa mereka bergabung dengan MariaDB Foundation sebagai anggota platinum. Segera mereka akan merilis pratinjau Azure Database untuk MariaDB untuk layanan MariaDB yang terkelola sepenuhnya di cloud. Mereka juga mengumumkan bahwa Apache Cassandra API mendukung Cosmos DB. Mereka akan menawarkan Cassandra sebagai layanan melalui distribusi global turnkey, berbagai tingkat konsistensi, dan SLA terdepan di industri.