Microsoft kunngjør generell tilgjengelighet av Apache Spark for Azure HDInsight

Microsoft kunngjorde i dag den generelle tilgjengeligheten av Apache Spark v1.6.1 for Azure HDInsight. Microsoft fremhevet at Spark for HDInsight har blitt raskt tatt i bruk siden den offentlige forhåndsvisningsperioden og er nå 50 % av alle nye HDInsight-klynger som er distribuert. Microsoft kunngjør også forbedringer av tilgjengeligheten, skalerbarheten og produktiviteten til vår administrerte Spark-tjeneste.

Spark for Azure HDInsight-funksjoner:

• For høy tilgjengelighet, Microsoft jobbet med Hortonworks for å legge til funksjoner til YARN-ressurssjefen og ledet "Prosjekt Livy” med Cloudera og andre organisasjoner for å lage en åpen kildekode Apache-lisensiert REST-webtjeneste for å administrere langvarige Spark-kontekster og sende inn Spark-jobber. Denne nye funksjonen ble designet for å gjøre Spark til en mer robust back-end for å kjøre interaktive bærbare datamaskiner og la andre applikasjoner utnytte Spark for sine interaktive arbeidsbelastninger. Ved å sikre høy tilgjengelighet med Spark, tilbyr vi nå den høyeste garantien for Spark på markedet med en 99.9 % servicenivåavtale.
• For å sikre at Spark vil kjøre i stor skala, kunngjør vi integrasjon mellom Spark og Azure Data Lake Store. Dette vil tillate Spark å lagre og behandle data av enhver størrelse bygget på et depot designet for skyen for å fange opp data av enhver størrelse, type og hastighet uten å tvinge endringer i applikasjonen din som dataskalering.
• For å sikre Spark, muliggjør vi rollebasert datatilgang på lagringsnivå gjennom integrasjonen av Spark og Data Lake Store.
• For dataingeniøren og utviklerne introduserte vi dypt integrasjon med IntelliJ IDE. Dette lar utviklere kode med innebygd forfatterstøtte for Scala og Java, lokal testing, ekstern feilsøking og muligheten til å sende inn Spark-applikasjoner til Azure-skyen.
• For dataforskere introduserte vi "out-of-the-box". integrasjon med Jupyter (iPython) bærbare PC-er slik at du kan lage narrativer som kombinerer kode, statistiske ligninger og visualiseringer som forteller en historie om dataene. Dette miljøet er ideelt for å trekke ut data fra enhver kilde og iterativt bygge ML-modeller mens du skriver utforskende spørringer for å visualisere og forstå egenskapene til dataene. Vi gjorde dette mulig ved å samarbeide med Jupyter OSS-fellesskapet for å forbedre kjernen for å tillate Spark-kjøring gjennom et REST-endepunkt. Som et resultat er Jupyter bærbare datamaskiner nå tilgjengelige i HDInsight rett ut av esken.
• For forretningsanalytikerne tilbyr vi integrasjon med Power BI sammen med andre BI-verktøy i likhet med Tableau, SAP Lumira og QlikView. Dette lar deg bygge interaktive visualiseringer over data av alle størrelser. I tillegg til de tradisjonelle dashbordene, tilbyr Power BI en strømmekobling som har integrasjon med Spark, slik at du kan publisere sanntidshendelser fra Spark Streaming direkte til Power BI.

Les mer om det i detalj her..