이제 Azure Data Lake Store에서 Azure SQL Data Warehouse로 데이터를 직접 가져오거나 내보낼 수 있습니다.

Azure SQL Data Warehouse는 관계형 및 비관계형 모두에서 방대한 양의 데이터를 처리할 수 있는 클라우드 기반 스케일 아웃 데이터베이스입니다. 대규모 병렬 처리(MPP) 아키텍처를 기반으로 하는 SQL Data Warehouse는 엔터프라이즈 워크로드를 처리할 수 있습니다. Azure Data Lake Store는 빅 데이터 분석 워크로드를 위한 전사적 대규모 리포지토리입니다. Azure Data Lake를 사용하면 운영 및 예비 분석을 위해 한 곳에서 모든 크기, 유형 및 수집 속도의 데이터를 캡처할 수 있습니다. Microsoft는 어제 외부 테이블을 사용하여 ADLS(Azure Data Lake Store)의 데이터를 Azure SQL Data Warehouse(SQL DW)로 직접 가져오거나 내보낼 수 있다고 발표했습니다.

ADLS에 대한 SQL DW PolyBase 지원을 통해 이제 시간당 거의 3TB의 속도로 데이터를 SQL DW 인스턴스에 직접 로드할 수 있습니다. 이제 SQL DW가 Windows Azure Storage Blob 및 ADLS에서 직접 데이터를 수집할 수 있으므로 이제 Azure의 모든 스토리지 서비스에서 데이터를 로드할 수 있습니다.

Microsoft는 Azure Data Lake Store에서 SQL DW로 데이터를 로드하기 위한 다음 지침을 제공했습니다.

• 더 나은 성능을 위해 동일한 데이터 센터에 서비스를 함께 배치하고 데이터 송신 요금을 부과하지 않습니다.
• 큰 압축 파일을 60개 이상의 작은 압축 파일로 나눕니다.
• SQL DW에서 큰 리소스 클래스를 사용하여 데이터를 로드합니다.
• AAD 응용 프로그램에 선택한 ADLS 디렉터리의 읽기 액세스 권한이 있는지 확인합니다.
• 대규모 데이터 세트를 가져올 때 DW SLO를 확장하십시오.
• SQL DW로 데이터를 로드하려면 중간 리소스 클래스를 사용하십시오.

그것에 대해 자세히 알아보기 여기에서 지금 확인해 보세요..