مایکروسافت در دسترس بودن Apache Spark برای Azure HDInsight را اعلام کرد

مایکروسافت امروز عرضه عمومی Apache Spark نسخه 1.6.1 را برای Azure HDInsight اعلام کرد. مایکروسافت تاکید کرد که Spark برای HDInsight از دوره پیش‌نمایش عمومی به سرعت مورد استفاده قرار گرفته است و اکنون 50٪ از کل خوشه‌های HDInsight جدید مستقر شده است. مایکروسافت همچنین بهبودهایی را در زمینه در دسترس بودن، مقیاس پذیری و بهره وری سرویس مدیریت شده Spark ما اعلام کرده است.

ویژگی های Spark for Azure HDInsight:

• برای دسترسی بالا، مایکروسافت با Hortonworks کار کرد تا قابلیت‌هایی را به مدیر منابع YARN اضافه کند و همکاری کرد.پروژه لیویبا Cloudera و سایر سازمان ها برای ایجاد یک سرویس وب REST دارای مجوز آپاچی منبع باز برای مدیریت زمینه های طولانی اسپارک و ارسال مشاغل Spark. این قابلیت جدید به گونه‌ای طراحی شده است که Spark را به یک بک‌اند قوی‌تر برای اجرای نوت‌بوک‌های تعاملی تبدیل کند و به سایر برنامه‌ها اجازه دهد تا از Spark برای بارهای کاری تعاملی خود استفاده کنند. با اطمینان از در دسترس بودن بالا با Spark، ما اکنون بالاترین ضمانت را برای Spark در بازار با توافقنامه سطح خدمات 99.9% ارائه می دهیم.
• برای اطمینان از اینکه Spark در مقیاس اجرا می شود، ما یکپارچگی بین Spark و را اعلام می کنیم فروشگاه Azure Data Lake. این به Spark اجازه می‌دهد تا داده‌ها را با هر اندازه‌ای که بر روی یک مخزن طراحی شده برای فضای ابری طراحی شده است، ذخیره و پردازش کند تا داده‌هایی با هر اندازه، نوع و سرعتی را بدون اعمال تغییرات در برنامه شما به عنوان مقیاس داده، ضبط کند.
• برای ایمن سازی Spark، ما دسترسی به داده های مبتنی بر نقش را در سطح ذخیره سازی از طریق ادغام Spark و Data Lake Store فعال می کنیم.
• برای مهندس داده و توسعه دهندگان، ما عمیق را معرفی کردیم ادغام با IntelliJ IDE. این به توسعه دهندگان اجازه می دهد تا با پشتیبانی از نویسندگی بومی برای اسکالا و جاوا، آزمایش محلی، اشکال زدایی از راه دور، و توانایی ارسال برنامه های Spark به ابر Azure کدنویسی کنند.
• برای دانشمندان داده، ما خارج از جعبه را معرفی کردیم ادغام با نوت بوک های Jupyter (iPython). به شما این امکان را می‌دهد تا روایت‌هایی ایجاد کنید که کد، معادلات آماری و تجسم‌هایی را ترکیب می‌کند که داستانی را در مورد داده‌ها بیان می‌کند. این محیط برای استخراج داده‌ها از هر منبعی و ساختن مدل‌های ML به صورت مکرر در حین نوشتن پرس‌و‌جوهای اکتشافی برای تجسم و درک ویژگی‌های داده ایده‌آل است. ما این کار را با همکاری با انجمن Jupyter OSS برای تقویت هسته به منظور اجازه اجرای Spark از طریق یک نقطه پایانی REST ممکن کردیم. در نتیجه، نوت بوک های Jupyter اکنون در داخل HDInsight خارج از جعبه قابل دسترسی هستند.
• برای تحلیلگران کسب و کار، ما پیشنهاد می کنیم ادغام با Power BI در کنار سایر ابزارهای BI پسندیدن تابلو, SAP Lumira و QlikView. این به شما امکان می دهد تجسم های تعاملی را روی داده ها با هر اندازه ایجاد کنید. علاوه بر داشبوردهای سنتی، Power BI یک اتصال دهنده استریم ارائه می دهد که با Spark یکپارچه شده است و به شما امکان می دهد رویدادهای بلادرنگ را از Spark Streaming مستقیماً در Power BI منتشر کنید.

در مورد آن با جزئیات بیشتر بخوانید اینجا کلیک نمایید.