Microsoft, Azure HDInsight용 Apache Spark 일반 공급 발표

독서 시간 아이콘 3 분. 읽다

달력 아이콘 에 게시됨 ２０２３년 ６월 ２８일

에 게시 ２０２３년 ６월 ２８일

독자들은 MSpoweruser를 지원하는 데 도움을 줍니다. 당사의 링크를 통해 구매하시면 수수료를 받을 수 있습니다.

Microsoft는 오늘 Azure HDInsight용 Apache Spark v1.6.1의 일반 공급을 발표했습니다. Microsoft는 HDInsight용 Spark가 공개 미리 보기 기간 이후 빠르게 채택되었으며 현재 배포된 모든 새 HDInsight 클러스터의 50%임을 강조했습니다. Microsoft는 또한 관리형 Spark 서비스의 가용성, 확장성 및 생산성 향상을 발표합니다.

Azure HDInsight용 Spark 기능:

고가용성을 위해 Microsoft는 Hortonworks와 협력하여 YARN 리소스 관리자에 기능을 추가하고 "프로젝트 리비” Cloudera 및 기타 조직과 함께 장기 실행 Spark 컨텍스트를 관리하고 Spark 작업을 제출하기 위한 오픈 소스 Apache 라이선스 REST 웹 서비스를 만듭니다. 이 새로운 기능은 Spark를 대화형 노트북 실행을 위한 더욱 강력한 백엔드로 만들고 다른 애플리케이션이 대화형 워크로드에 Spark를 활용할 수 있도록 설계되었습니다. Spark로 고가용성을 보장함으로써 우리는 이제 99.9% 서비스 수준 계약을 통해 시장에서 Spark에 대한 최고의 보증을 제공합니다.
Spark가 대규모로 실행될 수 있도록 Spark와 Azure 데이터 레이크 스토어. 이를 통해 Spark는 클라우드용으로 설계된 리포지토리에 구축된 모든 크기의 데이터를 저장하고 처리하여 데이터 확장에 따라 애플리케이션을 변경하지 않고도 모든 크기, 유형 및 속도의 데이터를 캡처할 수 있습니다.
Spark 보안을 위해 Spark와 Data Lake Store의 통합을 통해 스토리지 수준에서 역할 기반 데이터 액세스를 활성화하고 있습니다.
데이터 엔지니어와 개발자를 위해 우리는 깊은 IntelliJ IDE와의 통합. 이를 통해 개발자는 Scala 및 Java에 대한 기본 저작 지원, 로컬 테스트, 원격 디버깅 및 Spark 애플리케이션을 Azure 클라우드에 제출하는 기능을 사용하여 코딩할 수 있습니다.
데이터 과학자를 위해 즉시 사용 가능한 Jupyter(iPython) 노트북과의 통합 데이터에 대한 이야기를 전달하는 코드, 통계 방정식 및 시각화를 결합하는 내러티브를 만들 수 있습니다. 이 환경은 모든 소스에서 데이터를 추출하고 ML 모델을 반복적으로 구축하면서 탐색 쿼리를 작성하여 데이터 속성을 시각화하고 이해하는 데 이상적입니다. 우리는 Jupyter OSS 커뮤니티와 협력하여 REST 엔드포인트를 통해 Spark 실행을 허용하도록 커널을 향상함으로써 이를 가능하게 했습니다. 결과적으로 Jupyter 노트북은 이제 HDInsight 내에서 즉시 액세스할 수 있습니다.
비즈니스 분석가를 위해 다음을 제공합니다. 다른 BI 도구와 함께 Power BI와 통합 처럼 Tableau, SAP Lumira 및 QlikView. 이를 통해 모든 크기의 데이터에 대해 대화형 시각화를 구축할 수 있습니다. 기존 대시보드 외에도 Power BI는 Spark Streaming의 실시간 이벤트를 Power BI에 직접 게시할 수 있도록 Spark와 통합된 스트리밍 커넥터를 제공합니다.