Microsoft oznamuje obecnou dostupnost Apache Spark pro Azure HDInsight

Microsoft dnes oznámil obecnou dostupnost Apache Spark v1.6.1 pro Azure HDInsight. Společnost Microsoft zdůraznila, že Spark for HDInsight si od období veřejného náhledu rychle osvojil a nyní tvoří 50 % všech nových nasazených clusterů HDInsight. Microsoft také oznamuje vylepšení dostupnosti, škálovatelnosti a produktivity naší spravované služby Spark.

Funkce Spark for Azure HDInsight:

• Pro vysokou dostupnost, Microsoft spolupracoval s Hortonworks na přidání funkcí do správce zdrojů YARN a společně vedl „Projekt Livys Cloudera a dalšími organizacemi k vytvoření open source webové služby REST licencované Apache pro správu dlouhodobých kontextů Spark a odesílání úloh Spark. Tato nová funkce byla navržena tak, aby se Spark stal robustnějším back-endem pro provozování interaktivních notebooků a umožnil dalším aplikacím využít Spark pro jejich interaktivní pracovní zátěž. Zajištěním vysoké dostupnosti se Sparkem nyní nabízíme pro Spark nejvyšší záruku na trhu s 99.9% smlouvou o úrovni služeb.
• Abychom zajistili, že Spark bude fungovat ve velkém měřítku, oznamujeme integraci mezi Spark a Azure Data Lake Store. To Sparku umožní ukládat a zpracovávat data libovolné velikosti postavená na úložišti navrženém pro cloud, aby mohla zachycovat data jakékoli velikosti, typu a rychlosti, aniž by bylo nutné vynucovat změny ve vaší aplikaci při škálování dat.
• Pro zabezpečení Sparku umožňujeme přístup k datům na úrovni úložišť založený na rolích prostřednictvím integrace Spark a Data Lake Store.
• Pro datové inženýry a vývojáře jsme představili hluboké integrace s IntelliJ IDE. To vývojářům umožňuje kódovat s nativní podporou vytváření pro Scala a Java, místní testování, vzdálené ladění a možnost odesílat aplikace Spark do cloudu Azure.
• Pro datové vědce jsme zavedli přednastavené integrace s notebooky Jupyter (iPython). umožňuje vytvářet příběhy, které kombinují kód, statistické rovnice a vizualizace, které vyprávějí příběh o datech. Toto prostředí je ideální pro extrahování dat z jakéhokoli zdroje a opakované vytváření modelů ML při psaní průzkumných dotazů k vizualizaci a pochopení vlastností dat. Umožnili jsme to díky spolupráci s komunitou Jupyter OSS na vylepšení jádra tak, aby umožňovalo spuštění Sparku prostřednictvím koncového bodu REST. Výsledkem je, že notebooky Jupyter jsou nyní dostupné v rámci HDInsight ihned po vybalení.
• Pro obchodní analytiky nabízíme integraci s Power BI spolu s dalšími nástroji BI jako Výjev, SAP Lumira a QlikView. To vám umožní vytvářet interaktivní vizualizace nad daty libovolné velikosti. Kromě tradičních řídicích panelů nabízí Power BI konektor pro streamování, který má integraci se Sparkem a umožňuje vám publikovat události v reálném čase ze Spark Streaming přímo do Power BI.

Přečtěte si o tom podrobněji zde.