Обучение с подкреплением, второе издание: введение (серия «Адаптивные вычисления и машинное обучение») на русском

Обучение с подкреплением, одна из наиболее активно развивающихся областей исследований в области искусственного интеллекта, представляет собой вычислительный подход к обучению, при котором агент стремится максимизировать общее количество получаемого им вознаграждения при взаимодействии со сложной, неопределенной средой. В книге «Обучение с подкреплением» Ричард Саттон и Эндрю Барто дают ясное и простое изложение ключевых идей и алгоритмов этой области. Второе издание было значительно расширено и обновлено, в нем представлены новые темы и обновлено освещение других вопросов.

Как и первое издание, второе издание фокусируется на основных алгоритмах онлайн-обучения, а математический материал выделен затененными блоками. Часть I охватывает максимально возможный объем обучения с подкреплением, не выходя за рамки табличного случая, для которого можно найти точные решения. Многие алгоритмы, представленные в этой части, являются новыми для второго издания, включая UCB, Expected Sarsa и Double Learning. Часть II расширяет эти идеи до аппроксимации функций, с новыми разделами по таким темам, как искусственные нейронные сети и базис Фурье, а также предлагает расширенное рассмотрение обучения вне политики и методов градиента политики. Часть III содержит новые главы о связи обучения с подкреплением с психологией и нейробиологией, а также обновленную главу с примерами из практики, включая AlphaGo и AlphaGo Zero, игру в Atari и стратегию ставок IBM Watson. В заключительной главе обсуждаются будущие социальные последствия обучения с подкреплением.