Стостраничная книга по глубокому обучению с подкреплением: практическое применение PyTorch (стостраничные книги) на русском

Поймите, как интеллектуальные агенты учатся на собственном опыте, и создайте своего собственного с нуля!

Книга Андрея Буркова «Стостраничное глубокое обучение с подкреплением» , написанная автором книг «Стостраничное машинное обучение» и «Стостраничное языковое моделирование» , предлагает краткое, но строгое введение в математические основы и практическую реализацию глубокого обучения с подкреплением.

В характерном для Буркова стостраничном формате читатели знакомятся с идеями, лежащими в основе современных алгоритмов обучения с подкреплением, понимают, почему необходимо каждое улучшение, и преобразуют математические выкладки в работающий код на языке Python.

Книга «Глубокое обучение с подкреплением» объемом в сто страниц позволит вам:

• Разберитесь в теореме о градиенте политики и выведите алгоритмы, построенные на её основе.
• Реализуйте алгоритмы REINFORCE, Proximal Policy Optimization (PPO) и Deep Q-Networks (DQN) с нуля на PyTorch.
• Обучить агентов посадке многоразового ракетного ускорителя на движущуюся океанскую платформу.
• Поймите, как обучение с подкреплением применяется к языковым моделям, включая обучение на основе обратной связи от людей и проверяемых вознаграждений.

Четкие объяснения, математические выкладки, иллюстрации и полные примеры реализации связывают теорию с практикой.

О технологии

Глубокое обучение с подкреплением сочетает в себе нейронные сети и обучение посредством взаимодействия. Агент совершает действия, наблюдает за их последствиями и улучшает свои решения, чтобы максимизировать вознаграждение с течением времени.

Эти методы помогают роботам учиться двигаться, системам управления адаптироваться к меняющимся условиям, а языковым моделям улучшать их реакцию. Понимание лежащих в основе алгоритмов дает инженерам основу для создания, оценки и устранения неполадок в системах, которые учатся на собственном опыте.

О книге

В стостраничной книге по глубокому обучению с подкреплением тема изучается шаг за шагом, начиная с основ обучения с подкреплением и теоремы градиента политики, а затем переходя к REINFORCE, методам актор-критик, обобщенной оценке преимущества и PPO. Далее вводится обучение вне политики и выводится DQN из основных принципов.

Каждый новый метод устраняет ограничения предыдущих идей. Читатели узнают, почему базовые модели уменьшают дисперсию, как бутстреппинг изменяет процесс обучения и что делает возможной практическую оптимизацию политики.

В книге также рассматриваются эти основы в контексте обучения с подкреплением для языковых моделей, объясняется, как генерируемые ответы превращаются в траектории и как вознаграждения направляют обучение.

Что внутри?

• Градиенты политики и алгоритм REINFORCE
• Функции ценности, методы «актор-критик» и обобщенная оценка преимуществ
• Проксимальная оптимизация политики, глубокое Q-обучение, воспроизведение опыта и целевые сети
• Полные реализации на PyTorch с результатами обучения.
• Обучение с подкреплением на основе обратной связи от человека и проверяемых вознаграждений.
• Основы математики и рекомендации для дальнейшего изучения.

Код и дополнительные учебные материалы доступны на сайте thedrlbook.com/wiki.

О читателе

Для разработчиков программного обеспечения, специалистов по анализу данных, инженеров по машинному обучению и технических руководителей, которые хотят понять, как работает обучение с подкреплением на практике.

Читатели получат пользу от опыта программирования на Python, а также от знакомства с основами математического анализа, теории вероятностей, линейной алгебры и нейронных сетей. Математические приложения и дополнительные материалы помогут освежить базовые знания по ходу чтения.

Рекомендации от лидеров в сфере технологий и искусственного интеллекта.

Лонг Оуян , исследователь InstructGPT и ChatGPT в OpenAI: «Убедительное и полезное введение в обучение с подкреплением, а также отличный справочник. Прочитайте эту книгу!»

Стивен Балабан , соучредитель и технический директор Lambda: «Андрей расскажет вам об основах обучения с подкреплением и подведет к современным приложениям, таким как RLHF».

Больше отзывов от лидеров в области ИИ на сайте thedrlbook.com.