مایکروسافت Azure Databricks را برای پروژه های تجزیه و تحلیل جریان با بالاترین عملکرد معرفی کرد

Databricks یک پلت فرم تجزیه و تحلیل یکپارچه را برای تیم های علم داده فراهم می کند تا با مهندسی داده و خطوط تجاری برای ساخت محصولات داده همکاری کنند. در رویداد توسعه دهنده Connect() امروز، مایکروسافت اعلام کرد جدید سرویس Azure Databricks برای پروژه های تجزیه و تحلیل جریان با بالاترین عملکرد. مایکروسافت برای این سرویس جدید با بنیانگذاران آپاچی اسپارک همکاری کرد. Azure Databricks یک پلت فرم تحلیلی مبتنی بر Apache Spark است که راه اندازی با یک کلیک، گردش کار ساده و یک فضای کاری تعاملی را ارائه می دهد. Azure Databricks همچنین با Azure SQL Data Warehouse، Azure Storage، Azure Cosmos DB، Azure Active Directory و Power BI ادغام می شود. در مورد این ادغام در زیر بخوانید.

• تنوع انواع VM: مشتریان می توانند از تمام ماشین های مجازی موجود از جمله سری F برای سناریوهای یادگیری ماشین، سری M برای سناریوهای حافظه عظیم، سری D برای اهداف عمومی و غیره استفاده کنند.
• امنیت و حریم خصوصی: در Azure، مالکیت و کنترل داده ها با مشتری است. ما Azure Databricks را برای رعایت این استانداردها ساخته ایم. هدف ما این است که Azure Databricks تمام گواهی‌های انطباق را که بقیه Azure به آن پایبند هستند، ارائه دهد.
• انعطاف پذیری در توپولوژی شبکه: مشتریان نیازهای زیرساخت شبکه متنوعی دارند. Azure Databricks از استقرار در VNET های مشتری پشتیبانی می کند، که می تواند کنترل کند به کدام منابع و سینک ها می توان دسترسی داشت و چگونه به آنها دسترسی داشت.
• Azure Storage و Azure Data Lake یکپارچه‌سازی: این سرویس‌های ذخیره‌سازی از طریق DBFS در اختیار کاربران Databricks قرار می‌گیرند تا ذخیره‌سازی و تجزیه و تحلیل بهینه‌شده را روی داده‌های موجود ارائه دهند.
• Azure Power BI: کاربران می توانند Power BI را مستقیماً با استفاده از JDBC به خوشه های Databricks خود متصل کنند تا با استفاده از ابزارهای آشنا، داده ها را به صورت تعاملی در مقیاس عظیم جستجو کنند.
• Azure Active Directory کنترل های دسترسی به منابع را فراهم می کند و در حال حاضر در اکثر شرکت ها استفاده می شود. فضاهای کاری Azure Databricks در اشتراک های مشتریان مستقر می شوند، بنابراین به طور طبیعی می توان از AAD برای کنترل دسترسی به منابع، نتایج و مشاغل استفاده کرد.
• Azure SQL Data Warehouse، Azure SQL DB و Azure CosmosDB: Azure Databricks به راحتی و کارآمد نتایج را برای تجزیه و تحلیل بیشتر و سرویس دهی در زمان واقعی در این سرویس ها آپلود می کند و ساخت معماری های داده انتها به انتها را در Azure ساده می کند.
• در داخل، ما از خدمات کانتینر Azure برای اجرای صفحه کنترلی Azure Databricks و هواپیماهای داده از طریق کانتینرها استفاده می کنیم.
• شبکه شتاب‌دهنده سریع‌ترین زیرساخت شبکه مجازی‌سازی شده را در فضای ابری فراهم می‌کند. Azure Databricks از این برای بهبود بیشتر عملکرد Spark استفاده می کند.
• آخرین نسل از سخت‌افزار Azure (Dv3 VMs)، با حافظه‌های SSD NvMe که قادر به تأخیر 100 یواس در IO هستند. اینها عملکرد Databricks I/O را حتی بهتر می کند.

در یک یادداشت مرتبط، مایکروسافت امروز اعلام کرد که به عنوان یک عضو پلاتین به بنیاد MariaDB می‌پیوندد. به زودی آنها پیش نمایشی از پایگاه داده Azure را برای MariaDB برای یک سرویس کاملاً مدیریت شده MariaDB در فضای ابری منتشر خواهند کرد. آنها همچنین اعلام کردند که Apache Cassandra API از Cosmos DB پشتیبانی می کند. آنها کاساندرا را به عنوان یک سرویس بر روی توزیع جهانی کلید در دست، سطوح سازگاری چندگانه و SLAهای پیشرو در صنعت ارائه خواهند کرد.