מיקרוסופט מכריזה על זמינות כללית של Apache Spark עבור Azure HDInsight

מיקרוסופט הכריזה היום על הזמינות הכללית של Apache Spark v1.6.1 עבור Azure HDInsight. מיקרוסופט הדגישה ש-Spark for HDInsight זכתה לאימוץ מהיר מאז תקופת התצוגה המקדימה הציבורית והיא מהווה כעת 50% מכל אשכולות HDInsight החדשים שנפרסו. מיקרוסופט גם מכריזה על שיפורים לזמינות, להרחבה ולפרודוקטיביות של שירות Spark המנוהל שלנו.

תכונות Spark for Azure HDInsight:

• לזמינות גבוהה, מיקרוסופט עבדה עם Hortonworks כדי להוסיף יכולות למנהל המשאבים של YARN והובילה בשיתוף "פרויקט ליבי" עם Cloudera וארגונים אחרים כדי ליצור שירות אינטרנט REST מורשה Apache בקוד פתוח לניהול הקשרים ארוכים של Spark והגשת משרות Spark. יכולת חדשה זו תוכננה להפוך את Spark לחלק אחורי חזק יותר להפעלת מחשבים ניידים אינטראקטיביים ולאפשר ליישומים אחרים למנף את Spark לעומסי העבודה האינטראקטיביים שלהם. על ידי הבטחת זמינות גבוהה עם Spark, אנו מציעים כעת את הערבות הגבוהה ביותר עבור Spark בשוק עם הסכם רמת שירות של 99.9%.
• כדי להבטיח ש-Spark יפעל בקנה מידה, אנו מכריזים על אינטגרציה בין Spark ו חנות Azure Data Lake. זה יאפשר ל-Spark לאחסן ולעבד נתונים בכל גודל הבנויים על מאגר המיועד לענן כדי ללכוד נתונים בכל גודל, סוג ומהירות מבלי לאלץ שינויים באפליקציה שלך כקנה מידה של נתונים.
• לצורך אבטחת Spark, אנו מאפשרים גישה מבוססת תפקידים לנתונים ברמת האחסון באמצעות השילוב של Spark ו-Data Lake Store.
• עבור מהנדס הנתונים והמפתחים, הצגנו לעומק אינטגרציה עם IntelliJ IDE. זה מאפשר למפתחים לקודד עם תמיכת עריכה מקורית עבור Scala ו-Java, בדיקות מקומיות, איתור באגים מרחוק ויכולת לשלוח יישומי Spark לענן Azure.
• עבור מדעני נתונים, הצגנו מחוץ לקופסה אינטגרציה עם מחברות Jupyter (iPython). המאפשר לך ליצור נרטיבים המשלבים קוד, משוואות סטטיסטיות והדמיות שמספרות סיפור על הנתונים. סביבה זו אידיאלית לחילוץ נתונים מכל מקור ובנייה איטרטיבית של מודלים של ML תוך כתיבת שאילתות חקירה כדי להמחיש ולהבין את המאפיינים של הנתונים. אפשרנו זאת על ידי עבודה עם קהילת Jupyter OSS כדי לשפר את הליבה כדי לאפשר ביצוע Spark דרך נקודת קצה REST. כתוצאה מכך, מחברות Jupyter נגישות כעת ב-HDInsight ישירות מהקופסה.
• עבור האנליסטים העסקיים, אנו מציעים אינטגרציה עם Power BI לצד כלי BI אחרים כמו תמונת חיה, SAP Lumira ו-QlikView. זה מאפשר לך לבנות הדמיות אינטראקטיביות על נתונים בכל גודל. בנוסף ללוחות המחוונים המסורתיים, Power BI מציע מחבר סטרימינג עם אינטגרציה עם Spark המאפשר לך לפרסם אירועים בזמן אמת מ-Spark Streaming ישירות ל-Power BI.

קרא עוד על זה בפירוט כאן.