Линейная алгебра и оптимизация для машинного обучения: учебник (информатика) на русском

Этот учебник знакомит с линейной алгеброй и оптимизацией в контексте машинного обучения. В книге приводятся примеры и упражнения. Для преподавателей доступно руководство с решениями упражнений в конце каждой главы. Учебник предназначен для аспирантов и профессоров в области информатики, математики и анализа данных. Студенты старших курсов также могут использовать этот учебник. Главы учебника организованы следующим образом:

1. Линейная алгебра и её приложения: Главы посвящены основам линейной алгебры и её распространённым приложениям к сингулярному разложению, разложению матриц, матрицам подобия (ядерные методы) и анализу графов. В качестве примеров использованы многочисленные приложения машинного обучения, такие как спектральная кластеризация, классификация на основе ядерных методов и обнаружение выбросов. Тесная интеграция методов линейной алгебры с примерами из машинного обучения отличает эту книгу от общих томов по линейной алгебре. Основное внимание уделяется наиболее важным аспектам линейной алгебры для машинного обучения и обучению читателей применению этих концепций.

2. Оптимизация и её приложения: Большая часть машинного обучения рассматривается как задача оптимизации, в которой мы стремимся максимизировать точность моделей регрессии и классификации. «Основной задачей» машинного обучения, ориентированного на оптимизацию, является регрессия методом наименьших квадратов. Интересно, что эта задача возникает как в линейной алгебре, так и в оптимизации, и является одной из ключевых связующих задач этих двух областей. Регрессия методом наименьших квадратов также является отправной точкой для машин опорных векторов, логистической регрессии и рекомендательных систем. Кроме того, методы уменьшения размерности и матричной факторизации также требуют разработки методов оптимизации. В статье рассматривается общий взгляд на оптимизацию в вычислительных графах, а также её применение к обратному распространению ошибки в нейронных сетях.

Часто начинающие специалисты в области машинного обучения сталкиваются с проблемой необходимости обширных знаний в линейной алгебре и оптимизации. Одна из проблем заключается в том, что существующие курсы по линейной алгебре и оптимизации не являются специализированными для машинного обучения; следовательно, обычно приходится изучать больше материала, чем необходимо для освоения машинного обучения. Кроме того, некоторые идеи и приемы из оптимизации и линейной алгебры встречаются в машинном обучении чаще, чем в других прикладных областях. Поэтому разработка подхода к линейной алгебре и оптимизации, лучше соответствующего специфике машинного обучения, имеет большое значение.