Microsoft najavljuje opću dostupnost Apache Sparka za Azure HDInsight

Microsoft je danas najavio opću dostupnost Apache Spark v1.6.1 za Azure HDInsight. Microsoft je istaknuo da je Spark za HDInsight brzo prihvaćen od razdoblja javnog pregleda i da je sada 50% svih novih HDInsight klastera raspoređenih. Microsoft također najavljuje poboljšanja dostupnosti, skalabilnosti i produktivnosti naše upravljane usluge Spark.

Značajke Spark za Azure HDInsight:

• Za visoku dostupnost, Microsoft je surađivao s Hortonworksom kako bi dodao mogućnosti upravitelju resursa YARN i zajedno vodio “Projekt Livy” s Clouderom i drugim organizacijama za stvaranje REST web usluge otvorenog koda s licencom Apache za upravljanje dugotrajnim Spark kontekstima i slanje Spark poslova. Ova nova mogućnost osmišljena je kako bi Spark postao robusniji pozadinski dio za pokretanje interaktivnih prijenosnih računala i omogućio drugim aplikacijama da iskoriste Spark za svoja interaktivna radna opterećenja. Osiguravajući visoku dostupnost sa Sparkom, sada nudimo najveće jamstvo za Spark na tržištu uz ugovor o razini usluge od 99.9%.
• Kako bismo osigurali da će Spark raditi u velikom opsegu, najavljujemo integraciju između Sparka i Azure Data Lake Store. To će omogućiti Sparku da pohranjuje i obrađuje podatke bilo koje veličine izgrađene na spremištu dizajniranom za oblak za hvatanje podataka bilo koje veličine, vrste i brzine bez prisiljavanja promjena u vašoj aplikaciji kao podatkovne skale.
• Kako bismo osigurali Spark, omogućujemo pristup podacima temeljenim na ulogama na razini pohrane kroz integraciju Spark i Data Lake Store.
• Za podatkovnog inženjera i programere uveli smo deep integraciju s IntelliJ IDE. To omogućuje programerima da kodiraju s izvornom autorskom podrškom za Scalu i Javu, lokalno testiranje, udaljeno otklanjanje pogrešaka i mogućnost slanja Spark aplikacija u Azure oblak.
• Za podatkovne znanstvenike uveli smo gotove proizvode integracija s Jupyter (iPython) prijenosnim računalima omogućujući vam stvaranje narativa koji kombiniraju kod, statističke jednadžbe i vizualizacije koje pričaju priču o podacima. Ovo okruženje idealno je za vađenje podataka iz bilo kojeg izvora i iterativno građenje ML modela uz pisanje istraživačkih upita za vizualizaciju i razumijevanje svojstava podataka. To smo omogućili radeći sa zajednicom Jupyter OSS na poboljšanju kernela kako bi se omogućilo izvršavanje Spark-a preko REST krajnje točke. Kao rezultat toga, Jupyter prijenosna računala sada su dostupna unutar HDInsight-a izvan kutije.
• Za poslovne analitičare nudimo integraciju s Power BI-jem uz druge BI alate kao Tablo, SAP Lumira i QlikView. To vam omogućuje izgradnju interaktivnih vizualizacija na podacima bilo koje veličine. Uz tradicionalne nadzorne ploče, Power BI nudi priključak za streaming koji ima integraciju sa Sparkom koji vam omogućuje objavljivanje događaja u stvarnom vremenu iz Spark Streaminga izravno u Power BI.

Pročitajte više o tome detaljno ovdje.