A Microsoft bejelentette az Apache Spark általános elérhetőségét az Azure HDInsighthoz

A Microsoft ma bejelentette az Apache Spark 1.6.1-es verziójának általános elérhetőségét az Azure HDInsight számára. A Microsoft kiemelte, hogy a Spark for HDInsight gyorsan elterjedt a nyilvános előnézeti időszak óta, és mára az összes telepített új HDInsight-fürt 50%-a. A Microsoft emellett bejelenti a felügyelt Spark szolgáltatás elérhetőségének, méretezhetőségének és termelékenységének javítását.

A Spark for Azure HDInsight szolgáltatásai:

• A magas rendelkezésre állás érdekében A Microsoft a Hortonworks-szel együttműködve bővítette képességekkel a YARN erőforrás-kezelőt, és közösen vezetteProjekt Livy” a Clouderával és más szervezetekkel, hogy létrehozzanak egy nyílt forráskódú Apache licenccel rendelkező REST webszolgáltatást a régóta futó Spark-kontextusok kezelésére és a Spark-feladatok beküldésére. Ezt az új funkciót arra tervezték, hogy a Sparkot robusztusabb háttérrendszerré tegye az interaktív notebookok futtatásához, és lehetővé tegye más alkalmazások számára, hogy kihasználják a Sparkot interaktív munkaterheléseikhez. A Spark magas rendelkezésre állásának biztosításával 99.9%-os szolgáltatási szint megállapodással a piacon a legmagasabb garanciát kínáljuk a Spark számára.
• Annak érdekében, hogy a Spark nagy méretben működjön, bejelentjük a Spark és a Spark közötti integrációt Azure Data Lake Store. Ez lehetővé teszi a Spark számára, hogy bármilyen méretű adatot tároljon és dolgozzon fel a felhő számára kialakított tárhelyen, hogy bármilyen méretű, típusú és sebességű adatot rögzítsen anélkül, hogy adatskálákként módosítania kellene az alkalmazást.
• A Spark biztonsága érdekében a Spark és a Data Lake Store integrációja révén szerepköralapú adathozzáférést teszünk lehetővé a tárolás szintjén.
• Az adatmérnökök és fejlesztők számára bevezettük a mély integráció az IntelliJ IDE-vel. Ez lehetővé teszi a fejlesztők számára, hogy a Scala és a Java natív szerzői támogatásával, a helyi teszteléssel, a távoli hibakereséssel és a Spark-alkalmazások Azure-felhőbe küldésének lehetőségével kódoljanak.
• Az adattudósok számára bevezettük az azonnali alkalmazást integráció a Jupyter (iPython) notebookokkal lehetővé teszi olyan narratívák létrehozását, amelyek kódot, statisztikai egyenleteket és vizualizációkat kombinálnak, amelyek történetet mesélnek el az adatokról. Ez a környezet ideális bármilyen forrásból származó adatok kinyerésére és ML modellek iteratív felépítésére, miközben feltáró lekérdezéseket ír az adatok tulajdonságainak megjelenítéséhez és megértéséhez. Ezt úgy tettük lehetővé, hogy a Jupyter OSS közösséggel együttműködve javítottuk a kernelt, hogy lehetővé tegye a Spark REST-végponton keresztüli végrehajtását. Ennek eredményeként a Jupyter notebookok már azonnal elérhetőek a HDInsighton belül.
• Az üzleti elemzőknek ajánljuk integráció a Power BI-val más BI-eszközök mellett mint Csoportkép, SAP Lumira és QlikView. Ez lehetővé teszi, hogy interaktív vizualizációkat készítsen bármilyen méretű adat felett. A hagyományos irányítópultok mellett a Power BI olyan adatfolyam-összekötőt is kínál, amely integrálva van a Sparkkal, lehetővé téve valós idejű események közzétételét a Spark Streamingből közvetlenül a Power BI-ba.

Olvasson róla bővebben itt.