Microsoft tillkännager allmän tillgänglighet för Apache Spark för Azure HDInsight

Microsoft tillkännagav idag den allmänna tillgängligheten av Apache Spark v1.6.1 för Azure HDInsight. Microsoft lyfte fram att Spark för HDInsight har fått ett snabbt antagande sedan den offentliga förhandsvisningsperioden och nu är 50 % av alla nya HDInsight-kluster implementerade. Microsoft tillkännager också förbättringar av tillgängligheten, skalbarheten och produktiviteten för vår hanterade Spark-tjänst.

Spark för Azure HDInsight-funktioner:

• För hög tillgänglighet, Microsoft arbetade med Hortonworks för att lägga till funktioner till YARN-resurshanteraren och ledde "Projekt Livy” med Cloudera och andra organisationer för att skapa en Apache-licensierad REST-webbtjänst med öppen källkod för att hantera långvariga Spark-kontexter och skicka in Spark-jobb. Den här nya kapaciteten designades för att göra Spark till en mer robust back-end för att köra interaktiva bärbara datorer och tillåta andra applikationer att utnyttja Spark för sina interaktiva arbetsbelastningar. Genom att säkerställa hög tillgänglighet med Spark erbjuder vi nu den högsta garantin för Spark på marknaden med ett 99.9 % servicenivåavtal.
• För att säkerställa att Spark kommer att fungera i stor skala, tillkännager vi integration mellan Spark och Azure Data Lake Store. Detta kommer att tillåta Spark att lagra och bearbeta data av valfri storlek byggd på ett arkiv designat för molnet för att fånga data av alla storlekar, typer och hastigheter utan att tvinga fram ändringar i din applikation som dataskalor.
• För att säkra Spark möjliggör vi rollbaserad dataåtkomst på lagringsnivå genom integrationen av Spark och Data Lake Store.
• För dataingenjören och utvecklarna introducerade vi djupt integration med IntelliJ IDE. Detta gör att utvecklare kan koda med inbyggt författarstöd för Scala och Java, lokal testning, fjärrfelsökning och möjligheten att skicka in Spark-applikationer till Azure-molnet.
• För dataforskare introducerade vi out-of-the-box integration med Jupyter (iPython) bärbara datorer så att du kan skapa berättelser som kombinerar kod, statistiska ekvationer och visualiseringar som berättar en historia om data. Den här miljön är idealisk för att extrahera data från vilken källa som helst och iterativt bygga ML-modeller samtidigt som du skriver utforskande frågor för att visualisera och förstå egenskaperna hos datan. Vi gjorde detta möjligt genom att arbeta med Jupyter OSS-communityt för att förbättra kärnan för att tillåta Spark-exekvering genom en REST-slutpunkt. Som ett resultat är Jupyters bärbara datorer nu tillgängliga i HDInsight direkt från förpackningen.
• För affärsanalytikerna erbjuder vi integration med Power BI tillsammans med andra BI-verktyg tycka om Tableau, SAP Lumira och QlikView. Detta låter dig bygga interaktiva visualiseringar över data av alla storlekar. Utöver de traditionella instrumentpanelerna erbjuder Power BI en streaming-anslutning som har integration med Spark så att du kan publicera händelser i realtid från Spark Streaming direkt till Power BI.

Läs mer om det i detalj här..