מיקרוסופט מכריזה על Azure Databricks עבור פרויקטי ניתוח זרימה בעלי ביצועים גבוהים ביותר

Databricks מספקת פלטפורמת אנליטיקה מאוחדת עבור צוותי מדעי נתונים כדי לשתף פעולה עם הנדסת נתונים וקווי עסקים לבניית מוצרי נתונים. באירוע המפתחים Connect() היום, Microsoft הודיע החדש שירות Azure Databricks עבור פרויקטי ניתוח זרימה בעלי ביצועים גבוהים ביותר. מיקרוסופט עבדה עם מייסדי Apache Spark עבור השירות החדש הזה. Azure Databricks היא פלטפורמת ניתוח מבוססת Apache Spark המספקת הגדרה בלחיצה אחת, זרימות עבודה יעילות ומרחב עבודה אינטראקטיבי. Azure Databricks מגיעה גם עם אינטגרציה מקורית עם Azure SQL Data Warehouse, Azure Storage, Azure Cosmos DB, Azure Active Directory ו-Power BI. קרא על השילוב הזה למטה.

• מגוון סוגי VM: לקוחות יכולים להשתמש בכל ה-VM הקיימים כולל סדרת F עבור תרחישי למידת מכונה, סדרת M עבור תרחישי זיכרון מאסיביים, סדרת D למטרה כללית וכו'.
• אבטחה ופרטיות: ב-Azure, הבעלות והשליטה בנתונים היא אצל הלקוח. בנינו את Azure Databricks כדי לעמוד בסטנדרטים הללו. אנו שואפים לכך ש-Azure Databricks תספק את כל אישורי התאימות ששאר חלקי Azure מצייתים אליהם.
• גמישות בטופולוגיית הרשת: ללקוחות יש מגוון צרכי תשתית רשת. Azure Databricks תומכת בפריסות ברשתות VNET של לקוחות, שיכולות לשלוט לאילו מקורות ו-Sinks ניתן לגשת וכיצד הגישה אליהם.
• שילוב Azure Storage ו- Azure Data Lake: שירותי אחסון אלו נחשפים למשתמשי Databricks באמצעות DBFS כדי לספק מטמון וניתוח אופטימלי על נתונים קיימים.
• Azure Power BI: משתמשים יכולים לחבר את Power BI ישירות לאשכולות Databricks שלהם באמצעות JDBC על מנת לבצע שאילתות נתונים באופן אינטראקטיבי בקנה מידה מסיבי באמצעות כלים מוכרים.
• Azure Active Directory מספקת בקרות של גישה למשאבים והיא כבר בשימוש ברוב הארגונים. סביבות העבודה של Azure Databricks פורסות במנויי לקוחות, כך שבאופן טבעי ניתן להשתמש ב-AAD כדי לשלוט בגישה למקורות, לתוצאות ולעבודות.
• Azure SQL Data Warehouse, Azure SQL DB ו-Azure CosmosDB: Azure Databricks מעלה בקלות וביעילות תוצאות לשירותים אלה לניתוח נוסף והגשה בזמן אמת, מה שמקל על בניית ארכיטקטורות נתונים מקצה לקצה ב-Azure.
• באופן פנימי, אנו משתמשים ב-Azure Container Services כדי להפעיל את מישור הבקרה של Azure Databricks ומטוסי הנתונים באמצעות קונטיינרים.
• Accelerated Networking מספקת את תשתית הרשת הווירטואלית המהירה ביותר בענן. Azure Databricks משתמש בזה כדי לשפר עוד יותר את ביצועי Spark.
• הדור האחרון של חומרת Azure (Dv3 VMs), עם כונני NvMe SSD המסוגלים להפעיל זמן אחזור של 100us ב-IO. אלה הופכים את ביצועי ה-I/O של Databricks לטובים עוד יותר.

בנימה קשורה, מיקרוסופט הודיעה היום שהם מצטרפים לקרן MariaDB כחבר פלטינה. בקרוב הם ישחררו תצוגה מקדימה של Azure Database עבור MariaDB עבור שירות MariaDB מנוהל במלואו בענן. הם גם הודיעו כי Apache Cassandra API תומך ב-Cosmos DB. הם יציעו את Cassandra כשירות על פני הפצה עולמית סוהר, רמות עקביות מרובות והסכם SLA מובילים בתעשייה.