Microsoft ilmoittaa Apache Sparkin yleisen saatavuuden Azure HDInsightille

Microsoft ilmoitti tänään Apache Spark v1.6.1:n yleisestä saatavuudesta Azure HDInsightille. Microsoft korosti, että Spark for HDInsight on saanut nopean käyttöönoton julkisen esikatselun jälkeen ja on nyt 50 % kaikista uusista HDInsight-klustereista. Microsoft ilmoittaa myös parannuksista hallitun Spark-palvelumme saatavuuteen, skaalautumiseen ja tuottavuuteen.

Spark for Azure HDInsight -ominaisuudet:

• Korkean saatavuuden takaamiseksi Microsoft työskenteli Hortonworksin kanssa lisätäkseen ominaisuuksia YARN-resurssienhallintaan ja johti "Projekti Livy” Clouderan ja muiden organisaatioiden kanssa luodakseen avoimen lähdekoodin Apachen lisensoiman REST-verkkopalvelun pitkäaikaisten Spark-kontekstien hallintaan ja Spark-töiden lähettämiseen. Tämä uusi ominaisuus on suunniteltu tekemään Sparkista vankempi taustaohjelma interaktiivisten kannettavien käyttämiseen ja mahdollistamaan muiden sovellusten hyödyntää Sparkia vuorovaikutteisessa työkuormissaan. Varmistamalla korkean käytettävyyden Sparkilla tarjoamme nyt Sparkille markkinoiden korkeimman takuun 99.9 %:n palvelutasosopimuksella.
• Varmistaaksemme, että Spark toimii mittakaavassa, ilmoitamme integroinnista Sparkin ja Azure Data Lake Store. Tämä antaa Sparkille mahdollisuuden tallentaa ja käsitellä kaikenkokoisia tietoja, jotka on rakennettu pilveen suunniteltuun arkistoon, minkä tahansa kokoisen, tyyppisen ja nopeuden datan kaappaamiseen pakottamatta muutoksia sovellukseesi tietoasteikkoina.
• Sparkin turvaamiseksi sallimme roolipohjaisen datan käytön tallennustasolla integroimalla Spark ja Data Lake Store.
• Tietosuunnittelijoille ja kehittäjille esittelimme syvän integraatio IntelliJ IDE:n kanssa. Tämän ansiosta kehittäjät voivat koodata Scalan ja Javan alkuperäisellä luontituella, paikallisella testauksella, etävirheenkorjauksella ja mahdollisuuden lähettää Spark-sovelluksia Azure-pilveen.
• Tietotutkijoille esittelimme käyttövalmiiksi integrointi Jupyter (iPython) -kannettavien kanssa jonka avulla voit luoda kertomuksia, joissa yhdistyvät koodi, tilastolliset yhtälöt ja visualisoinnit, jotka kertovat tarinan tiedoista. Tämä ympäristö on ihanteellinen tiedon poimimiseen mistä tahansa lähteestä ja iteratiiviseen ML-mallien rakentamiseen samalla kun kirjoitetaan tutkivia kyselyjä tietojen ominaisuuksien visualisoimiseksi ja ymmärtämiseksi. Teimme tämän mahdolliseksi tekemällä yhteistyötä Jupyter OSS -yhteisön kanssa parantaaksemme ydintä mahdollistamaan Spark-suorituksen REST-päätepisteen kautta. Tämän seurauksena Jupyter-kannettavat ovat nyt käytettävissä HDInsightissa heti valmiina.
• Yritysanalyytikoille tarjoamme integrointi Power BI:n kanssa muiden BI-työkalujen ohella pitää Kuvaelma, SAP Lumira ja QlikView. Tämän avulla voit rakentaa interaktiivisia visualisointeja kaikenkokoisille tiedoille. Perinteisten kojetaulujen lisäksi Power BI tarjoaa suoratoistoliittimen, joka on integroitu Sparkiin, jonka avulla voit julkaista reaaliaikaisia ​​tapahtumia Spark Streamingista suoraan Power BI:hen.

Lue siitä tarkemmin tätä.