Microsoft kondigt algemene beschikbaarheid aan van Apache Spark voor Azure HDInsight

Microsoft heeft vandaag de algemene beschikbaarheid aangekondigd van Apache Spark v1.6.1 voor Azure HDInsight. Microsoft benadrukte dat Spark voor HDInsight snel is geadopteerd sinds de openbare preview-periode en nu 50% van alle nieuwe HDInsight-clusters is geïmplementeerd. Microsoft kondigt ook verbeteringen aan in de beschikbaarheid, schaalbaarheid en productiviteit van onze beheerde Spark-service.

Spark voor Azure HDInsight-functies:

• Voor een hoge beschikbaarheid, Microsoft werkte samen met Hortonworks om mogelijkheden toe te voegen aan de YARN resource manager en leidde mee "Project Livius” met Cloudera en andere organisaties om een ​​open source Apache-gelicentieerde REST-webservice te creëren voor het beheren van langlopende Spark-contexten en het indienen van Spark-taken. Deze nieuwe mogelijkheid is ontworpen om van Spark een robuustere back-end te maken voor het uitvoeren van interactieve notebooks en om andere applicaties in staat te stellen Spark te gebruiken voor hun interactieve workloads. Door met Spark een hoge beschikbaarheid te garanderen, bieden we nu de hoogste garantie voor Spark in de markt met een service level agreement van 99.9%.
• Om ervoor te zorgen dat Spark op grote schaal draait, kondigen we de integratie aan tussen Spark en Azure Data Lake-winkel. Hierdoor kan Spark gegevens van elke grootte opslaan en verwerken die zijn gebouwd op een repository die is ontworpen voor de cloud om gegevens van elke grootte, type en snelheid vast te leggen zonder dat wijzigingen in uw applicatie worden geforceerd terwijl gegevens worden geschaald.
• Om Spark te beveiligen, maken we op rollen gebaseerde gegevenstoegang mogelijk op opslagniveau door de integratie van Spark en Data Lake Store.
• Voor de data-engineer en ontwikkelaars hebben we deep integratie met de IntelliJ IDE. Hierdoor kunnen ontwikkelaars coderen met native authoring-ondersteuning voor Scala en Java, lokale tests, foutopsporing op afstand en de mogelijkheid om Spark-toepassingen in te dienen bij de Azure-cloud.
• Voor datawetenschappers introduceerden we out-of-the-box integratie met Jupyter (iPython)-notebooks waardoor u verhalen kunt maken die code, statistische vergelijkingen en visualisaties combineren die een verhaal over de gegevens vertellen. Deze omgeving is ideaal voor het extraheren van gegevens uit elke bron en het iteratief bouwen van ML-modellen tijdens het schrijven van verkennende query's om eigenschappen van de gegevens te visualiseren en te begrijpen. We hebben dit mogelijk gemaakt door samen te werken met de Jupyter OSS-community om de kernel te verbeteren zodat Spark-uitvoering via een REST-eindpunt mogelijk is. Als gevolg hiervan zijn Jupyter-notebooks nu out-of-the-box toegankelijk binnen HDInsight.
• Voor de bedrijfsanalisten bieden wij: integratie met Power BI naast andere BI-tools als Tableau, SAP Lumira en QlikView. Hiermee kunt u interactieve visualisaties bouwen over gegevens van elke grootte. Naast de traditionele dashboards biedt Power BI een streamingconnector die is geïntegreerd met Spark, zodat u realtime gebeurtenissen vanuit Spark Streaming rechtstreeks naar Power BI kunt publiceren.

Lees er meer over in detail hier.