A Microsoft bejelentette az Azure Databricks szolgáltatást a legnagyobb teljesítményű adatfolyam-elemzési projektekhez

A Databricks egységes elemzési platformot biztosít az adattudományi csapatok számára, hogy együttműködjenek az adatmérnökökkel és üzletágakkal adattermékek létrehozása érdekében. A mai Connect() fejlesztői eseményen a Microsoft bejelentés az új Azure Databricks szolgáltatás a legnagyobb teljesítményű adatfolyam-elemzési projektekhez. A Microsoft az Apache Spark alapítóival dolgozott együtt az új szolgáltatásért. Az Azure Databricks egy Apache Spark-alapú analitikai platform, amely egy kattintással történő beállítást, egyszerűsített munkafolyamatokat és interaktív munkaterületet biztosít. Az Azure Databricks az Azure SQL Data Warehouse, az Azure Storage, az Azure Cosmos DB, az Azure Active Directory és a Power BI natív integrációjával is rendelkezik. Erről az integrációról alább olvashat.

• VM-típusok sokfélesége: Az ügyfelek használhatják az összes létező virtuális gépet, beleértve az F-sorozatot a gépi tanulási forgatókönyvekhez, az M-sorozatot a nagy memória-forgatókönyvekhez, a D-sorozatot általános célú stb.
• Biztonság és adatvédelem: Az Azure-ban az adatok tulajdonjoga és ellenőrzése az ügyfélnél van. Az Azure Databricks-t úgy hoztuk létre, hogy megfeleljen ezeknek a szabványoknak. Célunk, hogy az Azure Databricks biztosítsa az összes megfelelőségi tanúsítványt, amelyet az Azure többi része is betart.
• Rugalmasság a hálózati topológiában: Az ügyfeleknek sokféle hálózati infrastruktúra-igényük van. Az Azure Databricks támogatja a központi telepítéseket az ügyfelek VNET-eiben, amelyek szabályozhatják, hogy mely források és fogadók érhetők el, és hogyan érhetők el.
• Az Azure Storage és az Azure Data Lake integrációja: Ezek a tárolási szolgáltatások a Databricks-felhasználók számára elérhetők a DBFS-en keresztül, hogy gyorsítótárat és optimalizált elemzést biztosítsanak a meglévő adatokon.
• Azure Power BI: A felhasználók közvetlenül csatlakoztathatják a Power BI-t a Databricks-fürtökhöz a JDBC használatával, hogy interaktív módon, nagy léptékben, ismert eszközökkel lekérdezhessenek adatokat.
• Az Azure Active Directory az erőforrásokhoz való hozzáférés vezérlését biztosítja, és a legtöbb vállalatnál már használatban van. Az Azure Databricks munkaterületek ügyfél-előfizetésekben helyezkednek el, így természetesen az AAD használható a forrásokhoz, eredményekhez és feladatokhoz való hozzáférés szabályozására.
• Azure SQL Data Warehouse, Azure SQL DB és Azure CosmosDB: Az Azure Databricks egyszerűen és hatékonyan tölti fel az eredményeket ezekbe a szolgáltatásokba további elemzés és valós idejű kiszolgálás céljából, így egyszerűvé teszi a végpontok közötti adatarchitektúrák felépítését az Azure-on.
• Belsőleg az Azure Container Services segítségével futtatjuk az Azure Databricks vezérlősíkot és adatsíkokat tárolókon keresztül.
• Az Accelerated Networking a leggyorsabb virtualizált hálózati infrastruktúrát biztosítja a felhőben. Az Azure Databricks ezt használja a Spark teljesítményének további javítására.
• Az Azure hardver legújabb generációja (Dv3 virtuális gépek), NvMe SSD-kkel, amelyek képesek 100 másodperces késleltetésre az IO-n. Ezek még jobbá teszik a Databricks I/O teljesítményét.

Ehhez kapcsolódóan a Microsoft ma bejelentette, hogy platinatagként csatlakozik a MariaDB Alapítványhoz. Hamarosan kiadják az Azure Database for MariaDB előzetesét egy teljesen felügyelt MariaDB-szolgáltatáshoz a felhőben. Azt is bejelentették, hogy az Apache Cassandra API támogatja a Cosmos DB-t. A Cassandrát kulcsrakész globális disztribúciós szolgáltatásként, több konzisztenciaszinten és iparágvezető SLA-kon keresztül kínálják majd.