Microsoft объявляет об общедоступности Apache Spark для Azure HDInsight

Сегодня корпорация Майкрософт объявила об общедоступной версии Apache Spark версии 1.6.1 для Azure HDInsight. Microsoft подчеркнула, что Spark для HDInsight получил быстрое распространение после периода общедоступной предварительной версии и теперь составляет 50% всех развернутых новых кластеров HDInsight. Microsoft также объявляет об улучшениях доступности, масштабируемости и производительности нашей управляемой службы Spark.

Возможности Spark для Azure HDInsight:

• Для обеспечения высокой доступности Microsoft сотрудничала с Hortonworks, чтобы добавить возможности в менеджер ресурсов YARN, и стала со-руководителем «Проект Ливи” с Cloudera и другими организациями для создания веб-службы REST с открытым исходным кодом, лицензированной Apache, для управления длительными контекстами Spark и отправки заданий Spark. Эта новая возможность была разработана, чтобы сделать Spark более надежной серверной частью для запуска интерактивных записных книжек и позволить другим приложениям использовать Spark для своих интерактивных рабочих нагрузок. Обеспечивая высокую доступность с помощью Spark, мы теперь предлагаем самую высокую гарантию для Spark на рынке с соглашением об уровне обслуживания 99.9%.
• Чтобы обеспечить масштабируемость Spark, мы объявляем об интеграции между Spark и Хранилище озера данных Azure. Это позволит Spark хранить и обрабатывать данные любого размера, созданные в репозитории, предназначенном для облачного сбора данных любого размера, типа и скорости без принудительных изменений в вашем приложении по мере масштабирования данных.
• Для защиты Spark мы предоставляем доступ к данным на основе ролей на уровне хранилища посредством интеграции Spark и Data Lake Store.
• Для дата-инженера и разработчиков мы представили глубокую интеграция с IntelliJ IDE. Это позволяет разработчикам создавать код с собственной поддержкой разработки для Scala и Java, локального тестирования, удаленной отладки и возможности отправлять приложения Spark в облако Azure.
• Для специалистов по данным мы представили готовые интеграция с ноутбуками Jupyter (iPython) позволяя создавать рассказы, сочетающие код, статистические уравнения и визуализации, которые рассказывают историю о данных. Эта среда идеально подходит для извлечения данных из любого источника и многократного построения моделей машинного обучения при написании исследовательских запросов для визуализации и понимания свойств данных. Мы сделали это возможным, работая с сообществом Jupyter OSS над усовершенствованием ядра, позволяющим выполнять Spark через конечную точку REST. В результате блокноты Jupyter теперь доступны в HDInsight «из коробки».
• Для бизнес-аналитиков мы предлагаем интеграция с Power BI наряду с другими инструментами BI такое как Живая картина, SAP Lumira и QlikView. Это позволяет создавать интерактивные визуализации для данных любого размера. В дополнение к традиционным панелям мониторинга Power BI предлагает потоковый коннектор, который имеет интеграцию со Spark, что позволяет публиковать события в реальном времени из Spark Streaming непосредственно в Power BI.

Подробнее об этом читайте здесь.