Azure Databricks получает поддержку виртуальных машин с поддержкой графического процессора и новую среду выполнения машинного обучения.

На мероприятии для разработчиков Connect() в прошлом году Microsoft объявило предварительная версия службы Azure Databricks для высокопроизводительных проектов потоковой аналитики. Azure Databricks — это аналитическая платформа на основе Apache Spark, которая обеспечивает настройку одним щелчком мыши, оптимизированные рабочие процессы и интерактивную рабочую область. Ранее в этом году Microsoft объявило общедоступность данной услуги.

На вчерашнем саммите Spark + AI Microsoft объявила о нескольких новых улучшениях Azure Databricks.

Во-первых, они добавляют поддержку виртуальных машин с поддержкой графического процессора. Теперь разработчики могут использовать эти виртуальные машины для простого создания, обучения и развертывания моделей ИИ в любом масштабе.

Во-вторых, они объявили о новой среде выполнения машинного обучения, которая позволяет проводить распределенное обучение глубоких нейронных сетей с несколькими графическими процессорами с помощью Horovod. Используя эту новую среду выполнения, разработчики могут создавать модели глубокого обучения с помощью нескольких строк кода.

Среда выполнения также включает HorovodEstimator для полной интеграции с Spark DataFrames. Еще одна хорошая новость заключается в том, что он также предварительно установлен и настроен со всеми необходимыми пакетами, такими как TensorFlow, Keras и XGBoost. Предварительная версия среды выполнения Azure Databricks для машинного обучения доступна сегодня как часть премиального SKU в Azure Databricks.

Источник: Microsoft