Firma Microsoft ogłasza ogólną dostępność Apache Spark dla usługi Azure HDInsight

3 minuta. czytać

Opublikowany 6 czerwca 2016 r.

opublikowane w dniu 6 czerwca 2016 r.

Czytelnicy pomagają wspierać MSpoweruser. Możemy otrzymać prowizję, jeśli dokonasz zakupu za pośrednictwem naszych linków.

Firma Microsoft ogłosiła dziś ogólną dostępność Apache Spark v1.6.1 dla usługi Azure HDInsight. Firma Microsoft podkreśliła, że platforma Spark dla usługi HDInsight zyskała szybką adopcję od czasu publicznej wersji zapoznawczej i stanowi teraz 50% wszystkich nowych wdrożonych klastrów usługi HDInsight. Firma Microsoft ogłasza również ulepszenia dostępności, skalowalności i produktywności naszej zarządzanej usługi Spark.

Funkcje Spark dla usługi Azure HDInsight:

Aby zapewnić wysoką dostępność, Microsoft współpracował z Hortonworks, aby dodać funkcje do menedżera zasobów YARN i współprowadził „Projekt Livy” z Cloudera i innymi organizacjami w celu utworzenia usługi internetowej REST na licencji Apache typu open source do zarządzania długotrwałymi kontekstami Spark i przesyłania zadań Spark. Ta nowa funkcja została zaprojektowana w celu uczynienia platformy Spark bardziej niezawodnym zapleczem do uruchamiania interaktywnych notesów i umożliwienia innym aplikacjom korzystania z platformy Spark do obsługi interaktywnych obciążeń. Zapewniając wysoką dostępność za pomocą Sparka, oferujemy teraz najwyższą gwarancję dla Sparka na rynku z umową dotyczącą poziomu usług na poziomie 99.9%.
Aby upewnić się, że Spark będzie działał na dużą skalę, ogłaszamy integrację między Sparkiem i Sklep Azure Data Lake. Umożliwi to Sparkowi przechowywanie i przetwarzanie danych o dowolnym rozmiarze zbudowanym na repozytorium zaprojektowanym dla chmury do przechwytywania danych o dowolnym rozmiarze, typie i szybkości bez wymuszania zmian w aplikacji w miarę skalowania danych.
Aby zabezpieczyć platformę Spark, umożliwiamy dostęp do danych oparty na rolach na poziomie magazynu poprzez integrację Spark i Data Lake Store.
Dla inżyniera danych i programistów wprowadziliśmy deep integracja z IntelliJ IDE. Pozwala to deweloperom na kodowanie z natywną obsługą tworzenia dla Scala i Java, lokalne testowanie, zdalne debugowanie oraz możliwość przesyłania aplikacji Spark do chmury Azure.
Dla analityków danych wprowadziliśmy gotowe rozwiązania integracja z notebookami Jupyter (iPython) umożliwiając tworzenie narracji łączących kod, równania statystyczne i wizualizacje, które opowiadają historię o danych. To środowisko jest idealne do wyodrębniania danych z dowolnego źródła i iteracyjnego budowania modeli ML podczas pisania zapytań eksploracyjnych w celu wizualizacji i zrozumienia właściwości danych. Umożliwiliśmy to, współpracując ze społecznością Jupyter OSS, aby ulepszyć jądro, aby umożliwić wykonywanie platformy Spark za pośrednictwem punktu końcowego REST. W rezultacie notesy Jupyter są teraz dostępne w standardowej usłudze HDInsight.
Dla analityków biznesowych oferujemy integracja z Power BI wraz z innymi narzędziami BI lubić Żywy obraz, SAP Lumira i QlikView. Umożliwia to tworzenie interaktywnych wizualizacji na danych o dowolnym rozmiarze. Oprócz tradycyjnych pulpitów nawigacyjnych usługa Power BI oferuje łącznik przesyłania strumieniowego, który jest zintegrowany z platformą Spark, umożliwiając publikowanie zdarzeń w czasie rzeczywistym z usługi Spark Streaming bezpośrednio do usługi Power BI.