Microsoft, Azure HDInsight için Apache Spark'ın genel kullanıma sunulduğunu duyurdu

Microsoft bugün Azure HDInsight için Apache Spark v1.6.1'in genel kullanıma sunulduğunu duyurdu. Microsoft, Spark için HDInsight'ın genel önizleme döneminden bu yana hızla benimsendiğini ve şu anda dağıtılan tüm yeni HDInsight kümelerinin %50'sini oluşturduğunu vurguladı. Microsoft ayrıca yönetilen Spark hizmetimizin kullanılabilirliği, ölçeklenebilirliği ve üretkenliğine yönelik iyileştirmeleri de duyuruyor.

Azure HDInsight için Spark özellikleri:

• Yüksek kullanılabilirlik için, Microsoft, YARN kaynak yöneticisine yetenekler eklemek için Hortonworks ile birlikte çalıştı ve “Proje Livy"Uzun süredir devam eden Spark bağlamlarını yönetmek ve Spark işlerini göndermek için açık kaynaklı bir Apache lisanslı REST web hizmeti oluşturmak için Cloudera ve diğer kuruluşlarla birlikte. Bu yeni yetenek, Spark'ı etkileşimli not defterlerini çalıştırmak için daha sağlam bir arka uç haline getirmek ve diğer uygulamaların etkileşimli iş yükleri için Spark'tan yararlanmasına izin vermek için tasarlandı. Spark ile yüksek kullanılabilirlik sağlayarak artık %99.9 hizmet seviyesi anlaşmasıyla Spark için pazardaki en yüksek garantiyi sunuyoruz.
• Spark'ın uygun ölçekte çalışmasını sağlamak için Spark ile Spark arasında entegrasyonu duyuruyoruz. Azure Veri Gölü Mağazası. Bu, Spark'ın, veri ölçekleri olarak uygulamanızda değişiklik yapmaya zorlamadan herhangi bir boyut, tür ve hızdaki verileri yakalaması için bulut için tasarlanmış bir havuzda oluşturulmuş herhangi bir boyuttaki verileri depolamasına ve işlemesine olanak tanır.
• Spark'ın güvenliğini sağlamak için, Spark ve Data Lake Store entegrasyonu aracılığıyla depolama düzeyinde rol tabanlı veri erişimi sağlıyoruz.
• Veri mühendisi ve geliştiriciler için derin IntelliJ IDE ile entegrasyon. Bu, geliştiricilerin Scala ve Java için yerel yazma desteği, yerel test, uzaktan hata ayıklama ve Spark uygulamalarını Azure bulutuna gönderme yeteneği ile kodlama yapmasına olanak tanır.
• Veri bilimcileri için kullanıma hazır Jupyter (iPython) not defterleriyle entegrasyon veriler hakkında bir hikaye anlatan kodu, istatistiksel denklemleri ve görselleştirmeleri birleştiren anlatılar oluşturmanıza olanak tanır. Bu ortam, herhangi bir kaynaktan veri çıkarmak ve verilerin özelliklerini görselleştirmek ve anlamak için keşif sorguları yazarken yinelemeli olarak ML modelleri oluşturmak için idealdir. Bunu, Spark'ın bir REST uç noktası üzerinden yürütülmesine izin vermek için çekirdeği geliştirmek için Jupyter OSS topluluğuyla birlikte çalışarak mümkün kıldık. Sonuç olarak, Jupyter not defterlerine artık kullanıma hazır HDInsight içinde erişilebilir.
• İş analistleri için sunduğumuz diğer BI araçlarıyla birlikte Power BI ile entegrasyon sevmek Tablo, SAP Lumira ve QlikView. Bu, herhangi bir boyuttaki veriler üzerinde etkileşimli görselleştirmeler oluşturmanıza olanak tanır. Power BI, geleneksel panolara ek olarak, Spark ile tümleştirmeye sahip bir akış bağlayıcısı sunar ve Spark Streaming'den gerçek zamanlı olayları doğrudan Power BI'da yayınlamanıza olanak tanır.

Bu konuda daha fazla bilgi edinin okuyun.