Microsoft ogłasza Azure Databricks dla projektów analizy strumieniowej o najwyższej wydajności

Databricks zapewnia ujednoliconą platformę analityczną dla zespołów zajmujących się analizą danych do współpracy z inżynierią danych i liniami biznesowymi w celu tworzenia produktów związanych z danymi. Na dzisiejszym wydarzeniu dla programistów Connect() Microsoft ogłosił Nowa Usługa Azure Databricks dla projektów analizy strumieniowej o najwyższej wydajności. Microsoft współpracował z założycielami Apache Spark nad tą nową usługą. Azure Databricks to platforma analityczna oparta na Apache Spark, która zapewnia konfigurację jednym kliknięciem, usprawnione przepływy pracy i interaktywny obszar roboczy. Azure Databricks zapewnia również natywną integrację z usługą Azure SQL Data Warehouse, Azure Storage, Azure Cosmos DB, Azure Active Directory i Power BI. Przeczytaj o tej integracji poniżej.

• Różnorodność typów maszyn wirtualnych: Klienci mogą używać wszystkich istniejących maszyn wirtualnych, w tym serii F do scenariuszy uczenia maszynowego, serii M do scenariuszy z ogromną pamięcią, serii D do ogólnych celów itp.
• Bezpieczeństwo i prywatność: na platformie Azure własność i kontrola nad danymi należy do klienta. Zbudowaliśmy Azure Databricks zgodnie z tymi standardami. Naszym celem jest, aby usługa Azure Databricks zapewniała wszystkie certyfikaty zgodności, których przestrzega reszta platformy Azure.
• Elastyczność w topologii sieci: Klienci mają różnorodne potrzeby w zakresie infrastruktury sieciowej. Azure Databricks obsługuje wdrożenia w sieciach wirtualnych klientów, które mogą kontrolować, do których źródeł i ujścia można uzyskać dostęp oraz w jaki sposób.
• Integracja z usługą Azure Storage i Azure Data Lake: te usługi magazynu są udostępniane użytkownikom Databricks za pośrednictwem DBFS, aby zapewnić buforowanie i zoptymalizowaną analizę istniejących danych.
• Azure Power BI: użytkownicy mogą łączyć usługę Power BI bezpośrednio ze swoimi klastrami Databricks przy użyciu JDBC w celu interaktywnego wykonywania zapytań o dane na masową skalę przy użyciu znanych narzędzi.
• Azure Active Directory zapewnia kontrolę dostępu do zasobów i jest już używany w większości przedsiębiorstw. Obszary robocze Azure Databricks są wdrażane w ramach subskrypcji klientów, więc oczywiście usługa AAD może być używana do kontrolowania dostępu do źródeł, wyników i zadań.
• Azure SQL Data Warehouse, Azure SQL DB i Azure CosmosDB: Azure Databricks łatwo i wydajnie przesyła wyniki do tych usług w celu dalszej analizy i udostępniania w czasie rzeczywistym, co ułatwia tworzenie kompleksowych architektur danych na platformie Azure.
• Wewnętrznie używamy Azure Container Services do uruchamiania płaszczyzny kontroli Azure Databricks i płaszczyzn danych za pośrednictwem kontenerów.
• Accelerated Networking zapewnia najszybszą zwirtualizowaną infrastrukturę sieciową w chmurze. Azure Databricks wykorzystuje to do dalszego ulepszania wydajności platformy Spark.
• Najnowsza generacja sprzętu platformy Azure (maszyny wirtualne Dv3) z dyskami SSD NvMe zdolnymi do zwiększenia opóźnień 100us na operacjach we/wy. Dzięki temu wydajność we/wy Databricks jest jeszcze lepsza.

W podobnej notatce Microsoft ogłosił dziś, że dołącza do Fundacji MariaDB jako członek platynowy. Wkrótce udostępnią wersję zapoznawczą Azure Database for MariaDB dla w pełni zarządzanej usługi MariaDB w chmurze. Ogłosili również, że Apache Cassandra API obsługuje Cosmos DB. Będą oferować Cassandrę jako usługę w ramach globalnej dystrybucji „pod klucz”, wiele poziomów spójności i wiodące w branży umowy SLA.