Распределенные системы обработки данных с использованием Azure DataBricks: создание, развертывание и управление корпоративными конвейерами обработки данных на русском

Быстро создавайте и развертывайте масштабные конвейеры обработки данных и повышайте производительность с помощью Azure Databricks.

Основные характеристики

• Освойте распределенное обучение и развертывание моделей машинного обучения и глубокого обучения.
• Узнайте, как интегрировать ETL-процессы с Azure Data Factory и Delta Lake.
• Изучите модели глубокого обучения и машинного обучения в распределенной вычислительной инфраструктуре.

Описание книги

Microsoft Azure Databricks помогает использовать возможности распределенных вычислений и применять их для создания надежных конвейеров обработки данных, а также для обучения и развертывания моделей машинного обучения и глубокого обучения. Расширенные функции Databricks позволяют разработчикам обрабатывать, преобразовывать и исследовать данные. Раздел «Распределенные системы обработки данных с Azure Databricks» поможет вам применить ваши знания Databricks для создания конвейеров обработки больших данных.

Книга предлагает практический подход к внедрению Azure Databricks и связанных с ним методологий, который позволит вам быстро повысить свою производительность. В ней подробно объясняются основные концепции, приводятся практические примеры и вопросы для самооценки. Вы начнете с краткого ознакомления с основными функциями Databricks, а затем перейдете к распределенному обучению и выводу моделей с использованием TensorFlow и Spark MLlib. По мере продвижения вы изучите MLflow Model Serving на Azure Databricks и реализуете распределенные конвейеры обучения с использованием HorovodRunner в Databricks.

В заключение вы узнаете, как преобразовывать, использовать и извлекать полезную информацию из огромных массивов данных для обучения прогнозных моделей и создания полноценных, полностью работоспособных конвейеров обработки данных. К концу этой книги по MS Azure вы получите прочное понимание того, как работать с Databricks для создания и управления целым конвейером обработки больших данных.

Что вы узнаете

• Создание ETL-процессов для больших данных в Azure Databricks
• Обучение, управление и развертывание моделей машинного обучения и глубокого обучения.
• Интегрируйте Databricks с Azure Data Factory для создания конвейеров извлечения, преобразования и загрузки данных (ETL).
• Узнайте, как использовать Horovod для распределенного глубокого обучения.
• Узнайте, как использовать Delta Engine для запроса и обработки данных из Delta Lake.
• Разберитесь, как использовать Data Factory в сочетании с Databricks.
• Используйте структурированную потоковую передачу данных в среде, приближенной к производственной.

Для кого предназначена эта книга?

Эта книга предназначена для инженеров-программистов, инженеров по машинному обучению, специалистов по анализу данных и инженеров данных, которые только начинают работать с Azure Databricks и хотят создавать высококачественные конвейеры обработки данных, не беспокоясь об инфраструктуре. Для более эффективного изучения концепций, рассматриваемых в этой книге, необходимы знания основ Azure Databricks. Также рекомендуется базовое понимание концепций машинного обучения и базовые знания программирования на Python.

Оглавление

1. Введение в основные концепции Azure Databricks
2. Создание рабочей области Azure Databricks
3. Создание ETL-процесса с помощью Databricks
4. Озеро Дельта с Databricks
5. Представляем Delta Engine
6. Структурированная потоковая передача
7. Интеграция Azure Databricks с популярными библиотеками Python.
8. Databricks Runtime for Machine Learning
9. Databricks Runtime for Deep Learning
10. Настройка, развертывание и управление моделями с использованием DataBricks AutoML.
11. MLFlow на Azure Databricks
12. Распределенное глубокое обучение с помощью Horovod