Η Microsoft ανακοινώνει τη γενική διαθεσιμότητα του Apache Spark για το Azure HDInsight

Η Microsoft ανακοίνωσε σήμερα τη γενική διαθεσιμότητα του Apache Spark v1.6.1 για το Azure HDInsight. Η Microsoft τόνισε ότι το Spark για HDInsight έχει αποκτήσει ταχεία υιοθέτηση από την περίοδο δημόσιας προεπισκόπησης και τώρα είναι το 50% όλων των νέων συμπλεγμάτων HDInsight που αναπτύσσονται. Η Microsoft ανακοινώνει επίσης βελτιώσεις στη διαθεσιμότητα, την επεκτασιμότητα και την παραγωγικότητα της διαχειριζόμενης υπηρεσίας Spark μας.

Χαρακτηριστικά Spark for Azure HDInsight:

• Για υψηλή διαθεσιμότητα, Η Microsoft συνεργάστηκε με την Hortonworks για να προσθέσει δυνατότητες στον διαχειριστή πόρων του YARN και συνοδήγησε το "Project Livyμε την Cloudera και άλλους οργανισμούς για τη δημιουργία μιας υπηρεσίας web REST με άδεια χρήσης Apache για τη διαχείριση μακροχρόνιων πλαισίων Spark και την υποβολή εργασιών Spark. Αυτή η νέα δυνατότητα σχεδιάστηκε για να κάνει το Spark ένα πιο ισχυρό back-end για τη λειτουργία διαδραστικών φορητών υπολογιστών και να επιτρέψει σε άλλες εφαρμογές να αξιοποιήσουν το Spark για τους διαδραστικούς φόρτους εργασίας τους. Εξασφαλίζοντας υψηλή διαθεσιμότητα με το Spark, προσφέρουμε τώρα την υψηλότερη εγγύηση για το Spark στην αγορά με συμφωνία επιπέδου εξυπηρέτησης 99.9%.
• Για να διασφαλίσουμε ότι το Spark θα λειτουργεί σε κλίμακα, ανακοινώνουμε την ενοποίηση μεταξύ του Spark και του Κατάστημα Azure Data Lake. Αυτό θα επιτρέψει στο Spark να αποθηκεύει και να επεξεργάζεται δεδομένα οποιουδήποτε μεγέθους που είναι χτισμένο σε ένα αποθετήριο σχεδιασμένο για το cloud ώστε να καταγράφει δεδομένα οποιουδήποτε μεγέθους, τύπου και ταχύτητας χωρίς να επιβάλλει αλλαγές στην εφαρμογή σας ως κλίμακες δεδομένων.
• Για τη διασφάλιση του Spark, επιτρέπουμε την πρόσβαση δεδομένων βάσει ρόλων σε επίπεδο αποθήκευσης μέσω της ενσωμάτωσης του Spark και του Data Lake Store.
• Για τον μηχανικό δεδομένων και τους προγραμματιστές, παρουσιάσαμε το deep ενσωμάτωση με το IntelliJ IDE. Αυτό επιτρέπει στους προγραμματιστές να κωδικοποιούν με υποστήριξη εγγενούς συγγραφής για Scala και Java, τοπικές δοκιμές, απομακρυσμένο εντοπισμό σφαλμάτων και τη δυνατότητα υποβολής εφαρμογών Spark στο σύννεφο Azure.
• Για τους επιστήμονες δεδομένων, παρουσιάσαμε το out-of-the-box ενσωμάτωση με φορητούς υπολογιστές Jupyter (iPython). επιτρέποντάς σας να δημιουργήσετε αφηγήσεις που συνδυάζουν κώδικα, στατιστικές εξισώσεις και απεικονίσεις που λένε μια ιστορία για τα δεδομένα. Αυτό το περιβάλλον είναι ιδανικό για την εξαγωγή δεδομένων από οποιαδήποτε πηγή και την επαναληπτική δημιουργία μοντέλων ML κατά τη σύνταξη διερευνητικών ερωτημάτων για την οπτικοποίηση και κατανόηση των ιδιοτήτων των δεδομένων. Κάναμε αυτό εφικτό συνεργαζόμενοι με την κοινότητα Jupyter OSS για να βελτιώσουμε τον πυρήνα ώστε να επιτρέπεται η εκτέλεση Spark μέσω ενός τερματικού σημείου REST. Ως αποτέλεσμα, οι φορητοί υπολογιστές Jupyter είναι πλέον προσβάσιμοι εντός του HDInsight out-of-the-box.
• Για τους επιχειρησιακούς αναλυτές, προσφέρουμε ενσωμάτωση με το Power BI παράλληλα με άλλα εργαλεία BI Μου αρέσει Ζώσα σκηνική εικών, SAP Lumira και QlikView. Αυτό σας επιτρέπει να δημιουργείτε διαδραστικές απεικονίσεις πάνω σε δεδομένα οποιουδήποτε μεγέθους. Εκτός από τους παραδοσιακούς πίνακες εργαλείων, το Power BI προσφέρει μια σύνδεση ροής που έχει ενσωμάτωση με το Spark που σας επιτρέπει να δημοσιεύετε συμβάντα σε πραγματικό χρόνο από το Spark Streaming απευθείας στο Power BI.

Διαβάστε περισσότερα για αυτό αναλυτικά εδώ.