Microsoft анонсує Azure Databricks для проектів потокової аналітики найвищої продуктивності

Databricks надає уніфіковану платформу аналітики для команд із наукових досліджень даних, які можуть співпрацювати з інженерними даними та напрямками бізнесу для створення продуктів даних. Сьогодні на заході для розробників Connect() Microsoft оголошений новий Служба Azure Databricks для високоефективних проектів потокової аналітики. Microsoft співпрацювала із засновниками Apache Spark для цієї нової служби. Azure Databricks — це аналітична платформа на основі Apache Spark, яка забезпечує налаштування в один клік, спрощені робочі процеси та інтерактивну робочу область. Azure Databricks також має інтеграцію зі сховищем даних Azure SQL, сховищем Azure, Azure Cosmos DB, Azure Active Directory і Power BI. Про цю інтеграцію читайте нижче.

• Різноманітність типів віртуальних машин: клієнти можуть використовувати всі існуючі віртуальні машини, включаючи F-серію для сценаріїв машинного навчання, серію M для сценаріїв з масивною пам'яттю, серію D для загального призначення тощо.
• Безпека та конфіденційність: у Azure право власності та контроль над даними перебуває за клієнтом. Ми створили Azure Databricks, щоб дотримуватися цих стандартів. Ми прагнемо, щоб Azure Databricks надавав усі сертифікати відповідності, яких дотримується решта Azure.
• Гнучкість топології мережі: клієнти мають різноманітні потреби в мережевій інфраструктурі. Azure Databricks підтримує розгортання в клієнтських VNET, які можуть контролювати, до яких джерел і приймачів можна отримати доступ і яким чином до них можна отримати доступ.
• Інтеграція Azure Storage та Azure Data Lake: ці служби зберігання доступні для користувачів Databricks через DBFS, щоб забезпечити кешування та оптимізований аналіз наявних даних.
• Azure Power BI: користувачі можуть підключати Power BI безпосередньо до своїх кластерів Databricks за допомогою JDBC, щоб інтерактивно запитувати дані у великому масштабі за допомогою знайомих інструментів.
• Azure Active Directory забезпечує контроль доступу до ресурсів і вже використовується на більшості підприємств. Робочі простори Azure Databricks розгортаються в підписках клієнтів, тому, природно, AAD можна використовувати для контролю доступу до джерел, результатів і завдань.
• Azure SQL Data Warehouse, Azure SQL DB і Azure CosmosDB: Azure Databricks легко й ефективно завантажує результати в ці служби для подальшого аналізу та обслуговування в режимі реального часу, що спрощує створення наскрізних архітектур даних в Azure.
• Всередині ми використовуємо служби контейнерів Azure для запуску панелі керування та площин даних Azure Databricks через контейнери.
• Accelerated Networking забезпечує найшвидшу віртуалізовану мережеву інфраструктуру в хмарі. Azure Databricks використовує це для подальшого покращення продуктивності Spark.
• Апаратне забезпечення Azure останнього покоління (ВМ Dv3) із твердотільними накопичувачами NvMe, здатними збільшити затримку в 100 мкс на вводу-виводі. Завдяки цьому продуктивність введення-виведення Databricks стає ще кращою.

У зв’язку з цим, сьогодні Microsoft оголосила, що вони приєднуються до MariaDB Foundation як платиновий член. Незабаром вони випустять попередній перегляд бази даних Azure для MariaDB для повністю керованої служби MariaDB у хмарі. Вони також оголосили про підтримку API Apache Cassandra для Cosmos DB. Вони запропонують Cassandra як послугу глобального розповсюдження під ключ, кілька рівнів узгодженості та провідні у галузі угод про рівень обслуговування.