Microsoft napoveduje splošno razpoložljivost Apache Spark za Azure HDInsight

Microsoft je danes objavil splošno razpoložljivost Apache Spark v1.6.1 za Azure HDInsight. Microsoft je poudaril, da se je Spark za HDInsight hitro uveljavil od obdobja javnega predogleda in je zdaj 50 % vseh novih gruč HDInsight. Microsoft prav tako napoveduje izboljšave glede razpoložljivosti, razširljivosti in produktivnosti naše upravljane storitve Spark.

Funkcije Spark za Azure HDInsight:

• Za visoko razpoložljivost, Microsoft je sodeloval s Hortonworks, da bi dodal zmogljivosti upravljalniku virov YARN in je skupaj vodil »Projekt Livy” s Cloudero in drugimi organizacijami za ustvarjanje odprtokodne spletne storitve REST z licenco Apache za upravljanje dolgotrajnih kontekstov Spark in oddajo opravil Spark. Ta nova zmožnost je bila zasnovana tako, da Spark postane bolj robustno ozadje za izvajanje interaktivnih prenosnikov in omogoči drugim aplikacijam, da izkoristijo Spark za svoje interaktivne delovne obremenitve. Z zagotavljanjem visoke razpoložljivosti s Sparkom zdaj ponujamo najvišje jamstvo za Spark na trgu z 99.9-odstotno pogodbo o ravni storitev.
• Da bi zagotovili, da bo Spark deloval v velikem obsegu, napovedujemo integracijo med Sparkom in Azure Data Lake Store. To bo Sparku omogočilo shranjevanje in obdelavo podatkov katere koli velikosti, zgrajenega na odlagališču, zasnovanem za oblak, da zajame podatke katere koli velikosti, vrste in hitrosti, ne da bi pri tem prisilil spremembe v vaši aplikaciji kot podatkovne lestvice.
• Za zaščito Spark omogočamo dostop do podatkov na podlagi vlog na ravni shranjevanja z integracijo Spark in Data Lake Store.
• Za podatkovnega inženirja in razvijalce smo predstavili deep integracijo z IntelliJ IDE. To razvijalcem omogoča kodiranje z izvorno podporo za avtoring za Scalo in Javo, lokalno testiranje, oddaljeno odpravljanje napak in možnost pošiljanja aplikacij Spark v oblak Azure.
• Za podatkovne znanstvenike smo uvedli "out-of-the-box". integracija z Jupyter (iPython) prenosniki ki vam omogoča ustvarjanje pripovedi, ki združujejo kodo, statistične enačbe in vizualizacije, ki pripovedujejo zgodbo o podatkih. To okolje je idealno za ekstrakcijo podatkov iz katerega koli vira in iterativno gradnjo modelov ML med pisanjem raziskovalnih poizvedb za vizualizacijo in razumevanje lastnosti podatkov. To smo omogočili s sodelovanjem s skupnostjo Jupyter OSS, da bi izboljšali jedro, da bi omogočili izvajanje Spark prek končne točke REST. Posledično so prenosni računalniki Jupyter zdaj dostopni v HDInsightu.
• Za poslovne analitike ponujamo integracijo s Power BI poleg drugih orodij BI kot Tableau, SAP Lumira in QlikView. To vam omogoča ustvarjanje interaktivnih vizualizacij nad podatki katere koli velikosti. Poleg tradicionalnih nadzornih plošč Power BI ponuja priključek za pretakanje, ki ima integracijo s Sparkom, ki vam omogoča objavo dogodkov v realnem času iz Spark Streaming neposredno v Power BI.

Preberite več o tem podrobno tukaj.