Microsoft annoncerer generel tilgængelighed af Apache Spark til Azure HDInsight

3 min. Læs

Udgivet den 6. Juni, 2016

offentliggjort den 6. Juni, 2016

Læsere hjælper med at understøtte MSpoweruser. Vi får muligvis en kommission, hvis du køber via vores links.

Microsoft annoncerede i dag den generelle tilgængelighed af Apache Spark v1.6.1 til Azure HDInsight. Microsoft fremhævede, at Spark for HDInsight har opnået en hurtig udbredelse siden den offentlige forhåndsvisningsperiode og nu er 50 % af alle nye HDInsight-klynger implementeret. Microsoft annoncerer også forbedringer af tilgængeligheden, skalerbarheden og produktiviteten af vores administrerede Spark-tjeneste.

Spark til Azure HDInsight-funktioner:

For høj tilgængelighed, Microsoft arbejdede sammen med Hortonworks for at tilføje kapaciteter til YARN-ressourcemanageren og ledede "Projekt Livy” med Cloudera og andre organisationer for at skabe en open source Apache-licenseret REST-webservice til styring af langvarige Spark-kontekster og indsendelse af Spark-job. Denne nye funktion er designet til at gøre Spark til en mere robust back-end til at køre interaktive notebooks og give andre applikationer mulighed for at udnytte Spark til deres interaktive arbejdsbelastninger. Ved at sikre høj tilgængelighed med Spark tilbyder vi nu den højeste garanti for Spark på markedet med en 99.9 % serviceniveauaftale.
For at sikre, at Spark kører i stor skala, annoncerer vi integration mellem Spark og Azure Data Lake Store. Dette vil give Spark mulighed for at gemme og behandle data af enhver størrelse bygget på et lager, der er designet til skyen til at fange data af enhver størrelse, type og hastighed uden at tvinge ændringer til din applikation som dataskalering.
For at sikre Spark muliggør vi rollebaseret dataadgang på lagerniveau gennem integrationen af Spark og Data Lake Store.
For dataingeniøren og udviklerne introducerede vi dybt integration med IntelliJ IDE. Dette giver udviklere mulighed for at kode med indbygget forfatterunderstøttelse til Scala og Java, lokal test, fjernfejlfinding og muligheden for at indsende Spark-applikationer til Azure-skyen.
For dataforskere introducerede vi out-of-the-box integration med Jupyter (iPython) notebooks giver dig mulighed for at skabe fortællinger, der kombinerer kode, statistiske ligninger og visualiseringer, der fortæller en historie om dataene. Dette miljø er ideelt til at udtrække data fra enhver kilde og iterativt opbygge ML-modeller, mens du skriver undersøgende forespørgsler for at visualisere og forstå dataenes egenskaber. Vi gjorde dette muligt ved at arbejde med Jupyter OSS-fællesskabet for at forbedre kernen for at tillade Spark-udførelse gennem et REST-slutpunkt. Som et resultat er Jupyter-notebooks nu tilgængelige i HDInsight direkte fra kassen.
Til forretningsanalytikerne tilbyder vi integration med Power BI sammen med andre BI-værktøjer ligesom Tableau, SAP Lumira og QlikView. Dette lader dig bygge interaktive visualiseringer over data af enhver størrelse. Ud over de traditionelle dashboards tilbyder Power BI en streamingforbindelse, der har integration med Spark, så du kan publicere begivenheder i realtid fra Spark Streaming direkte til Power BI.