Теперь вы можете напрямую импортировать/экспортировать данные из Azure Data Lake Store в хранилище данных SQL Azure.

Хранилище данных SQL Azure — это масштабируемая облачная база данных, способная обрабатывать огромные объемы данных, как реляционных, так и нереляционных. Основанное на нашей архитектуре массовой параллельной обработки (MPP), хранилище данных SQL может справиться с рабочей нагрузкой вашего предприятия. Azure Data Lake Store — это масштабируемый репозиторий масштаба предприятия для аналитических рабочих нагрузок больших данных. Azure Data Lake позволяет собирать данные любого размера, типа и скорости приема в одном месте для оперативной и исследовательской аналитики. Вчера Microsoft объявила, что теперь вы можете напрямую импортировать или экспортировать данные из Azure Data Lake Store (ADLS) в хранилище данных SQL Azure (SQL DW) с помощью внешних таблиц.

Благодаря поддержке SQL DW PolyBase для ADLS теперь вы можете загружать данные непосредственно в свой экземпляр SQL DW со скоростью почти 3 ТБ в час. Поскольку SQL DW теперь может принимать данные непосредственно из Windows Azure Storage Blob и ADLS, теперь вы можете загружать данные из любой службы хранилища в Azure.

Microsoft предложила следующие рекомендации по загрузке данных в SQL DW из Azure Data Lake Store:

• Совместное размещение сервисов в одном центре обработки данных для повышения производительности и отсутствия платы за исходящие данные.
• Разделите большие сжатые файлы как минимум на 60 меньших сжатых файлов.
• Используйте большой класс ресурсов в хранилище данных SQL для загрузки данных.
• Убедитесь, что ваше приложение AAD имеет доступ для чтения из выбранного каталога ADLS.
• Масштабируйте SLO DW при импорте большого набора данных.
• Используйте средний класс ресурсов для загрузки данных в SQL DW.

Узнайте больше об этом здесь.