Microsoft ประกาศความพร้อมใช้งานทั่วไปของ Apache Spark สำหรับ Azure HDInsight

วันนี้ Microsoft ได้ประกาศความพร้อมใช้งานทั่วไปของ Apache Spark v1.6.1 สำหรับ Azure HDInsight Microsoft เน้นย้ำว่า Spark for HDInsight ได้รับการปรับใช้อย่างรวดเร็วตั้งแต่ช่วงแสดงตัวอย่างสาธารณะ และขณะนี้เป็น 50% ของคลัสเตอร์ HDInsight ใหม่ทั้งหมดที่ปรับใช้ Microsoft ยังประกาศการปรับปรุงความพร้อมใช้งาน ความสามารถในการปรับขนาด และประสิทธิภาพการทำงานของบริการ Spark ที่มีการจัดการของเรา

Spark สำหรับฟีเจอร์ Azure HDInsight:

• เพื่อความพร้อมใช้งานสูง Microsoft ทำงานร่วมกับ Hortonworks เพื่อเพิ่มความสามารถให้กับตัวจัดการทรัพยากร YARN และเป็นผู้นำร่วม “โครงการ Livy” กับ Cloudera และองค์กรอื่นๆ เพื่อสร้างโอเพ่นซอร์ส Apache บริการเว็บ REST ที่ได้รับอนุญาตสำหรับการจัดการคอนเท็กซ์ Spark ที่รันเป็นเวลานานและการส่งงาน Spark ความสามารถใหม่นี้ได้รับการออกแบบมาเพื่อให้ Spark เป็นแบ็คเอนด์ที่แข็งแกร่งยิ่งขึ้นสำหรับการรันโน้ตบุ๊กแบบโต้ตอบ และอนุญาตให้แอปพลิเคชันอื่นใช้ประโยชน์จาก Spark สำหรับปริมาณงานแบบโต้ตอบได้ ด้วยการรับรองความพร้อมใช้งานสูงกับ Spark ตอนนี้เราขอเสนอการรับประกันสูงสุดสำหรับ Spark ในตลาดด้วยข้อตกลงระดับการบริการ 99.9%
• เพื่อให้แน่ใจว่า Spark จะทำงานในวงกว้าง เรากำลังประกาศการรวมระหว่าง Spark และ Azure Data Lake สโตร์. วิธีนี้จะช่วยให้ Spark จัดเก็บและประมวลผลข้อมูลทุกขนาดที่สร้างขึ้นบนพื้นที่เก็บข้อมูลที่ออกแบบมาสำหรับระบบคลาวด์เพื่อบันทึกข้อมูลขนาด ประเภท และความเร็วใดๆ โดยไม่ต้องบังคับให้เปลี่ยนแปลงแอปพลิเคชันของคุณเป็นขนาดข้อมูล
• สำหรับการรักษาความปลอดภัย Spark เรากำลังเปิดใช้งานการเข้าถึงข้อมูลตามบทบาทที่ระดับการจัดเก็บผ่านการผสานรวมของ Spark และ Data Lake Store
• สำหรับวิศวกรข้อมูลและนักพัฒนา เราได้แนะนำ deep บูรณาการกับ IntelliJ IDE. ซึ่งช่วยให้นักพัฒนาเขียนโค้ดด้วยการสนับสนุนการเขียนแบบเนทีฟสำหรับ Scala และ Java การทดสอบในเครื่อง การดีบักจากระยะไกล และความสามารถในการส่งแอปพลิเคชัน Spark ไปยัง Azure Cloud
• สำหรับนักวิทยาศาสตร์ด้านข้อมูล เราได้เปิดตัวแบบสำเร็จรูป การรวมเข้ากับโน้ตบุ๊ก Jupyter (iPython) ช่วยให้คุณสร้างคำบรรยายที่รวมโค้ด สมการทางสถิติ และการแสดงภาพที่บอกเล่าเรื่องราวเกี่ยวกับข้อมูลได้ สภาพแวดล้อมนี้เหมาะสำหรับการดึงข้อมูลจากแหล่งที่มาใดๆ และสร้างแบบจำลอง ML ซ้ำๆ ในขณะที่เขียนแบบสอบถามเชิงสำรวจเพื่อแสดงภาพและทำความเข้าใจคุณสมบัติของข้อมูล เราทำให้สิ่งนี้เป็นไปได้ด้วยการทำงานร่วมกับชุมชน Jupyter OSS เพื่อปรับปรุงเคอร์เนลเพื่ออนุญาตให้เรียกใช้ Spark ผ่านปลายทาง REST ด้วยเหตุนี้ โน้ตบุ๊ก Jupyter จึงสามารถเข้าถึงได้จาก HDInsight ที่แกะกล่อง
• สำหรับนักวิเคราะห์ธุรกิจ เราขอเสนอ การผสานรวมกับ Power BI ควบคู่ไปกับเครื่องมือ BI อื่นๆ กดไลก์ ฉาก, SAP Lumira และ QlikView วิธีนี้ช่วยให้คุณสร้างการแสดงภาพแบบโต้ตอบได้เหนือข้อมูลทุกขนาด นอกเหนือจากแดชบอร์ดแบบดั้งเดิมแล้ว Power BI ยังมีตัวเชื่อมต่อการสตรีมที่มีการผสานรวมกับ Spark ทำให้คุณสามารถเผยแพร่เหตุการณ์แบบเรียลไทม์จาก Spark Streaming ไปยัง Power BI ได้โดยตรง

อ่านเพิ่มเติมเกี่ยวกับเรื่องนี้ในรายละเอียด โปรดคลิกที่นี่เพื่ออ่านรายละเอียดเพิ่มเติม.