Создание конвейеров обработки больших данных с помощью Apache Beam: использование единой модели программирования для пакетной и потоковой обработки данных на русском

Внедрение, запуск, эксплуатация и тестирование конвейеров обработки данных с использованием Apache Beam.

Основные характеристики

• Поймите, как повысить удобство использования и производительность при внедрении конвейеров обработки лучей.
• Узнайте, как использовать обработку состояний для реализации сложных сценариев использования с помощью Apache Beam.
• Внедряйте, тестируйте и запускайте конвейеры Apache Beam, используя советы и методы экспертов.

Описание книги

Apache Beam — это открытая унифицированная модель программирования для реализации и выполнения конвейеров обработки данных, включая процессы извлечения, преобразования и загрузки (ETL), пакетную и потоковую обработку.

Эта книга поможет вам уверенно создавать конвейеры обработки данных с помощью Apache Beam. Вы начнете с обзора Apache Beam и поймете, как использовать его для реализации базовых конвейеров. Вы также научитесь эффективно тестировать и запускать конвейеры. По мере продвижения вы изучите, как структурировать код для повторного использования, а также использовать различные предметно-ориентированные языки (DSL). В последующих главах вы узнаете, как использовать схемы и запрашивать данные с помощью потокового SQL. Наконец, вы поймете продвинутые концепции Apache Beam, такие как реализация собственных коннекторов ввода-вывода.

К концу чтения этой книги вы получите глубокое понимание модели Apache Beam и сможете применять её для решения задач.

Что вы узнаете

• Разберитесь в основных концепциях и архитектуре Apache Beam.
• Внедрить конвейеры обработки данных без сохранения и с сохранением состояния.
• Используйте состояния и таймеры для обработки событий в реальном времени.
• Структурируйте свой код для повторного использования.
• Используйте потоковый SQL для обработки данных в реальном времени, чтобы повысить производительность и доступность данных.
• Запустите конвейер обработки данных с помощью портативного средства запуска и реализуйте обработку данных, используя Python SDK Apache Beam.
• Реализуйте коннекторы ввода-вывода Apache Beam, используя API Splittable DoFn.

Для кого предназначена эта книга?

Эта книга предназначена для инженеров данных, специалистов по анализу данных и аналитиков данных, которые хотят узнать, как работает Apache Beam. Предполагается наличие среднего уровня знаний языка программирования Java.

Оглавление

1. Введение в обработку данных с помощью Apache Beam
2. Внедрение, тестирование и развертывание базовых конвейеров обработки данных.
3. Реализация конвейеров с использованием обработки состояний
4. Структурирование кода для повторного использования
5. Использование SQL для реализации конвейера обработки данных.
6. Используйте предпочитаемый вами язык с возможностью переноса на другой язык.
7. Расширение возможностей коннекторов ввода-вывода Apache Beam.
8. Понимание того, как исполнители управляют конвейерами обработки данных.