Microsoft mengumumkan ketersediaan umum Apache Spark untuk Azure HDInsight

Microsoft hari ini mengumumkan ketersediaan umum Apache Spark v1.6.1 untuk Azure HDInsight. Microsoft menyoroti bahwa Spark untuk HDInsight telah mendapatkan adopsi yang cepat sejak periode pratinjau publik dan sekarang 50% dari semua cluster HDInsight baru dikerahkan. Microsoft juga mengumumkan peningkatan pada ketersediaan, skalabilitas, dan produktivitas layanan Spark terkelola kami.

Fitur Spark untuk Azure HDInsight:

• Untuk ketersediaan tinggi, Microsoft bekerja dengan Hortonworks untuk menambahkan kemampuan ke manajer sumber daya YARN dan memimpin bersama “Proyek Livy” dengan Cloudera dan organisasi lain untuk membuat layanan web REST berlisensi Apache open source untuk mengelola konteks Spark yang berjalan lama dan mengirimkan pekerjaan Spark. Kemampuan baru ini dirancang untuk menjadikan Spark sebagai back-end yang lebih tangguh untuk menjalankan notebook interaktif dan memungkinkan aplikasi lain untuk memanfaatkan Spark untuk beban kerja interaktif mereka. Dengan memastikan ketersediaan tinggi dengan Spark, kami sekarang menawarkan jaminan tertinggi untuk Spark di pasar dengan perjanjian tingkat layanan 99.9%.
• Untuk memastikan bahwa Spark akan berjalan dalam skala besar, kami mengumumkan integrasi antara Spark dan Toko Azure Data Lake. Ini akan memungkinkan Spark untuk menyimpan dan memproses data dengan ukuran apa pun yang dibangun di atas repositori yang dirancang untuk cloud untuk menangkap data dengan ukuran, jenis, dan kecepatan apa pun tanpa memaksakan perubahan pada aplikasi Anda sebagai skala data.
• Untuk mengamankan Spark, kami mengaktifkan akses data berbasis peran di tingkat penyimpanan melalui integrasi Spark dan Data Lake Store.
• Untuk insinyur dan pengembang data, kami memperkenalkan deep integrasi dengan IntelliJ IDE. Ini memungkinkan pengembang untuk membuat kode dengan dukungan penulisan asli untuk Scala dan Java, pengujian lokal, debugging jarak jauh, dan kemampuan untuk mengirimkan aplikasi Spark ke cloud Azure.
• Untuk ilmuwan data, kami memperkenalkan out-of-the-box integrasi dengan notebook Jupyter (iPython) memungkinkan Anda membuat narasi yang menggabungkan kode, persamaan statistik, dan visualisasi yang menceritakan kisah tentang data. Lingkungan ini ideal untuk mengekstrak data dari sumber apa pun dan membangun model ML secara iteratif sambil menulis kueri eksplorasi untuk memvisualisasikan dan memahami properti data. Kami memungkinkan ini dengan bekerja sama dengan komunitas Jupyter OSS untuk meningkatkan kernel agar memungkinkan eksekusi Spark melalui titik akhir REST. Hasilnya, notebook Jupyter sekarang dapat diakses dalam HDInsight secara langsung.
• Untuk analis bisnis, kami menawarkan integrasi dengan Power BI bersama dengan alat BI lainnya 'like' Tablo, SAP Lumira, dan QlikView. Ini memungkinkan Anda membangun visualisasi interaktif di atas data dengan ukuran berapa pun. Selain dasbor tradisional, Power BI menawarkan konektor streaming yang memiliki integrasi dengan Spark yang memungkinkan Anda untuk memublikasikan peristiwa waktu nyata dari Spark Streaming langsung ke Power BI.

Baca lebih lanjut tentang itu secara detail di sini.