Microsoft annuncia la disponibilità generale di Apache Spark per Azure HDInsight

3 minuto. leggere

Edizione del 6 Giugno 2016

pubblicato su 6 Giugno 2016

I lettori aiutano a supportare MSpoweruser. Potremmo ricevere una commissione se acquisti tramite i nostri link.

Microsoft ha annunciato oggi la disponibilità generale di Apache Spark v1.6.1 per Azure HDInsight. Microsoft ha evidenziato che Spark for HDInsight ha ottenuto una rapida adozione dal periodo di anteprima pubblica e ora rappresenta il 50% di tutti i nuovi cluster HDInsight distribuiti. Microsoft annuncia anche miglioramenti alla disponibilità, scalabilità e produttività del nostro servizio Spark gestito.

Funzionalità di Spark per Azure HDInsight:

Per alta disponibilità, Microsoft ha collaborato con Hortonworks per aggiungere funzionalità al gestore delle risorse YARN e ha co-diretto "Progetto Livio” con Cloudera e altre organizzazioni per creare un servizio Web REST open source con licenza Apache per la gestione di contesti Spark di lunga durata e l'invio di lavori Spark. Questa nuova funzionalità è stata progettata per rendere Spark un back-end più robusto per l'esecuzione di notebook interattivi e consentire ad altre applicazioni di sfruttare Spark per i propri carichi di lavoro interattivi. Garantendo un'elevata disponibilità con Spark, ora offriamo la più alta garanzia per Spark sul mercato con un accordo sul livello di servizio del 99.9%.
Per garantire che Spark funzioni su larga scala, stiamo annunciando l'integrazione tra Spark e Archivio di Azure Data Lake. Ciò consentirà a Spark di archiviare ed elaborare dati di qualsiasi dimensione basati su un repository progettato per il cloud per acquisire dati di qualsiasi dimensione, tipo e velocità senza forzare le modifiche all'applicazione mentre i dati si ridimensionano.
Per proteggere Spark, stiamo abilitando l'accesso ai dati basato sui ruoli a livello di storage attraverso l'integrazione di Spark e Data Lake Store.
Per l'ingegnere dei dati e gli sviluppatori, abbiamo introdotto Deep integrazione con l'IDE IntelliJ. Ciò consente agli sviluppatori di programmare con il supporto per la creazione nativa per Scala e Java, test locali, debug remoto e la possibilità di inviare applicazioni Spark al cloud di Azure.
Per i data scientist, abbiamo introdotto out-of-the-box integrazione con i notebook Jupyter (iPython). consentendo di creare narrazioni che combinano codice, equazioni statistiche e visualizzazioni che raccontano una storia sui dati. Questo ambiente è ideale per estrarre dati da qualsiasi origine e creare modelli ML in modo iterativo mentre si scrivono query esplorative per visualizzare e comprendere le proprietà dei dati. Lo abbiamo reso possibile collaborando con la community di Jupyter OSS per migliorare il kernel per consentire l'esecuzione di Spark tramite un endpoint REST. Di conseguenza, i notebook Jupyter sono ora accessibili immediatamente all'interno di HDInsight.
Per gli analisti aziendali, offriamo integrazione con Power BI insieme ad altri strumenti BI piace Quadro, LINFA Lumira e QlikView. Ciò ti consente di creare visualizzazioni interattive su dati di qualsiasi dimensione. Oltre ai dashboard tradizionali, Power BI offre un connettore di streaming integrato con Spark che consente di pubblicare eventi in tempo reale da Spark Streaming direttamente a Power BI.