Microsoft oznamuje všeobecnú dostupnosť Apache Spark pre Azure HDInsight

Microsoft dnes oznámil všeobecnú dostupnosť Apache Spark v1.6.1 pre Azure HDInsight. Spoločnosť Microsoft zdôraznila, že Spark for HDInsight sa rýchlo osvojil od obdobia verejnej ukážky a teraz predstavuje 50 % všetkých nových nasadených klastrov HDInsight. Microsoft tiež oznamuje vylepšenia dostupnosti, škálovateľnosti a produktivity našej spravovanej služby Spark.

Funkcie Spark for Azure HDInsight:

• Pre vysokú dostupnosť, Spoločnosť Microsoft spolupracovala so spoločnosťou Hortonworks na pridaní možností do správcu zdrojov YARN a spoločne viedla „Projekt Livy” s Cloudera a ďalšími organizáciami na vytvorenie open source webovej služby REST s licenciou Apache na správu dlhotrvajúcich kontextov Spark a odosielanie úloh Spark. Táto nová schopnosť bola navrhnutá tak, aby sa Spark stal robustnejším back-endom na prevádzkovanie interaktívnych notebookov a umožnil iným aplikáciám využiť Spark pre ich interaktívne pracovné zaťaženie. Zabezpečením vysokej dostupnosti so Sparkom teraz ponúkame najvyššiu záruku pre Spark na trhu s 99.9% zmluvou o úrovni služieb.
• Aby sme zabezpečili, že Spark bude fungovať vo veľkom rozsahu, oznamujeme integráciu medzi Spark a Azure Data Lake Store. To Sparku umožní ukladať a spracovávať dáta ľubovoľnej veľkosti postavené na úložisku navrhnutom pre cloud na zachytávanie dát akejkoľvek veľkosti, typu a rýchlosti bez vynútenia zmien vo vašej aplikácii pri škálovaní dát.
• Na zabezpečenie Sparku umožňujeme prístup k údajom na úrovni úložiska na základe rolí prostredníctvom integrácie Spark a Data Lake Store.
• Pre dátových inžinierov a vývojárov sme predstavili hlboké integrácia s IntelliJ IDE. To umožňuje vývojárom kódovať s natívnou podporou tvorby pre Scala a Java, lokálne testovanie, vzdialené ladenie a možnosť odosielať aplikácie Spark do cloudu Azure.
• Pre vedcov údajov sme zaviedli predpripravené integrácia s notebookmi Jupyter (iPython). umožňuje vytvárať príbehy, ktoré kombinujú kód, štatistické rovnice a vizualizácie, ktoré rozprávajú príbeh o údajoch. Toto prostredie je ideálne na extrahovanie údajov z akéhokoľvek zdroja a opakované vytváranie modelov ML pri písaní prieskumných dotazov na vizualizáciu a pochopenie vlastností údajov. Umožnili sme to spoluprácou s komunitou Jupyter OSS na vylepšení jadra, aby bolo možné spustiť Spark cez koncový bod REST. Výsledkom je, že notebooky Jupyter sú teraz dostupné v rámci HDInsight hneď po vybalení.
• Pre obchodných analytikov ponúkame integráciu s Power BI spolu s ďalšími nástrojmi BI Ako Výjav, SAP Lumira a QlikView. To vám umožňuje vytvárať interaktívne vizualizácie nad údajmi akejkoľvek veľkosti. Okrem tradičných informačných panelov ponúka Power BI konektor na streamovanie, ktorý má integráciu so Sparkom a umožňuje vám publikovať udalosti v reálnom čase zo Spark Streaming priamo do Power BI.

Prečítajte si o tom podrobnejšie tu.