Microsoft anuncia Azure Databricks para projetos de análise de streaming de mais alto desempenho

Databricks fornece uma plataforma de análise unificada para equipes de ciência de dados colaborarem com engenharia de dados e linhas de negócios para criar produtos de dados. No evento de desenvolvedores Connect() hoje, a Microsoft anunciou o novo Serviço Azure Databricks para projetos de análise de streaming de alto desempenho. A Microsoft trabalhou com os fundadores do Apache Spark para este novo serviço. O Azure Databricks é uma plataforma de análise baseada em Apache Spark que oferece configuração com um clique, fluxos de trabalho simplificados e um espaço de trabalho interativo. O Azure Databricks também vem com integração nativa com Azure SQL Data Warehouse, Azure Storage, Azure Cosmos DB, Azure Active Directory e Power BI. Leia sobre essa integração abaixo.

• Diversidade de tipos de VM: os clientes podem usar todas as VMs existentes, incluindo a série F para cenários de aprendizado de máquina, a série M para cenários de memória massiva, a série D para uso geral etc.
• Segurança e privacidade: no Azure, a propriedade e o controle dos dados são do cliente. Criamos Azure Databricks para aderir a esses padrões. Nosso objetivo é que o Azure Databricks forneça todas as certificações de conformidade às quais o restante do Azure adere.
• Flexibilidade na topologia de rede: Os clientes têm uma diversidade de necessidades de infraestrutura de rede. O Azure Databricks dá suporte a implantações em VNETs do cliente, que podem controlar quais fontes e coletores podem ser acessados ​​e como eles são acessados.
• Integração do Armazenamento do Azure e do Azure Data Lake: esses serviços de armazenamento são expostos aos usuários do Databricks via DBFS para fornecer armazenamento em cache e análise otimizada dos dados existentes.
• Azure Power BI: os usuários podem conectar o Power BI diretamente a seus clusters Databricks usando JDBC para consultar dados interativamente em grande escala usando ferramentas familiares.
• O Azure Active Directory fornece controles de acesso a recursos e já está em uso na maioria das empresas. Os espaços de trabalho do Azure Databricks são implantados em assinaturas de clientes, portanto, naturalmente, o AAD pode ser usado para controlar o acesso a fontes, resultados e trabalhos.
• Azure SQL Data Warehouse, Azure SQL DB e Azure CosmosDB: Azure Databricks carrega resultados de forma fácil e eficiente para esses serviços para análise adicional e atendimento em tempo real, simplificando a criação de arquiteturas de dados de ponta a ponta no Azure.
• Internamente, usamos os Serviços de Contêiner do Azure para executar o plano de controle e os planos de dados do Azure Databricks por meio de contêineres.
• A Rede Acelerada fornece a infraestrutura de rede virtualizada mais rápida na nuvem. O Azure Databricks utiliza isso para melhorar ainda mais o desempenho do Spark.
• A última geração de hardware do Azure (VMs Dv3), com SSDs NvMe capazes de latência de 100us em IO. Isso torna o desempenho de E/S do Databricks ainda melhor.

Em uma nota relacionada, a Microsoft anunciou hoje que está se juntando à MariaDB Foundation como membro platina. Em breve, eles lançarão uma prévia do Banco de Dados do Azure para MariaDB para um serviço MariaDB totalmente gerenciado na nuvem. Eles também anunciaram que o suporte da API Apache Cassandra para Cosmos DB. Eles oferecerão o Cassandra como um serviço de distribuição global pronta para uso, vários níveis de consistência e SLAs líderes do setor.