Создание большой языковой модели (с нуля) на русском
#40424
Build a Large Language Model (From Scratch) (B0DGQXVK62)
Купить и скачать электронную книгу в форматах PDF, EPUB, FB2, MOBI
Sebastian Raschka | #84: Нейронные сети
Как реализовать механизмы внимания LLM и трансформеры в стиле GPT.
В книге «Создание большой языковой модели (с нуля)» автор бестселлеров Себастьян Рашка шаг за шагом проведет вас через процесс создания собственной большой языковой модели. Каждый этап объясняется понятным текстом, диаграммами и примерами. Вы пройдете путь от первоначального проектирования и создания до предварительного обучения на общем корпусе и до тонкой настройки для решения конкретных задач.
Курс «Создание большой языковой модели (с нуля)» научит вас:
• Спланировать и запрограммировать все части магистерской программы (LLM).
• Подготовьте набор данных, подходящий для обучения LLM.
• Доработайте LLM-модели для классификации текста и использования собственных данных.
• Используйте отзывы людей, чтобы убедиться, что ваша магистерская программа соответствует инструкциям.
• Загрузите предварительно обученные веса в LLM
Создание большой языковой модели (с нуля) позволит вам заглянуть внутрь «черного ящика» искусственного интеллекта и поэкспериментировать с внутренними системами, лежащими в основе генеративного ИИ. Проходя каждый ключевой этап создания большой языковой модели, вы получите глубокое понимание того, как работают большие языковые модели, их ограничений и методов настройки. Вашу большую языковую модель можно разработать на обычном ноутбуке и использовать в качестве личного помощника.
О технологии
Как сообщается, физик Ричард П. Фейнман сказал: «Я не понимаю ничего, чего не могу построить». Основываясь на этом же мощном принципе, автор бестселлеров Себастьян Рашка шаг за шагом проведет вас через процесс создания LLM-системы в стиле GPT, которую вы сможете запустить на своем ноутбуке. Это увлекательная книга, охватывающая каждый этап процесса, от планирования и кодирования до обучения и тонкой настройки.
О книге
«Создание большой языковой модели (с нуля)» — это практическое и чрезвычайно увлекательное путешествие в основы генеративного искусственного интеллекта. Не полагаясь на существующие библиотеки для создания больших языковых моделей, вы напишете базовую модель, разовьете ее в классификатор текста и, в конечном итоге, создадите чат-бота, способного следовать вашим инструкциям в разговоре. И вы действительно поймете его, потому что создали его сами!
Что внутри?
• Разработать и запрограммировать программу магистратуры в области права, сопоставимую с GPT-2.
• Загрузка предварительно тренированных весов
• Создать полноценный конвейер обучения
• Доработайте свою LLM для классификации текста.
• Разрабатывать программы обучения магистров наук, которые соответствуют инструкциям, выполняемым человеком.
О читателе
Читателям потребуются навыки работы с Python на среднем уровне и некоторые знания в области машинного обучения. Созданная вами модель LLM будет работать на любом современном ноутбуке и может дополнительно использовать графические процессоры (GPU).
Об авторе
Себастьян Рашка , доктор философии, — инженер-исследователь с магистерской степенью и более чем десятилетним опытом работы в области искусственного интеллекта. Его работа охватывает как промышленность, так и академическую среду, включая внедрение решений, разработанных в рамках магистерской программы, в качестве старшего инженера в компании Lightning AI, а также преподавание статистики в Университете Висконсина в Мэдисоне.
Себастьян сотрудничает с компаниями из списка Fortune 500 в области решений на основе искусственного интеллекта и входит в состав Совета по открытому исходному коду в Университете Висконсина в Мэдисоне. Он специализируется на программах магистратуры в области машинного обучения и разработке высокопроизводительных систем искусственного интеллекта, уделяя особое внимание практическим, основанным на коде реализациям. Он является автором бестселлеров « Машинное обучение с PyTorch и Scikit-Learn» и «Машинное обучение Q и ИИ» .
Техническим редактором этой книги был Дэвид Касвелл .
Оглавление
1. Понимание больших языковых моделей
2. Работа с текстовыми данными
3. Механизмы кодирования внимания
4. Реализация модели GPT с нуля для генерации текста.
5. Предварительное обучение на неразмеченных данных
6. Тонкая настройка для классификации
7. Тонкая настройка в соответствии с инструкциями.
Введение в PyTorch
B. Список литературы и дополнительные материалы для чтения
C. Решения для упражнений
D. Добавление дополнительных функций в цикл обучения.
E. Параметроэффективная тонкая настройка с помощью LoRA
В книге «Создание большой языковой модели (с нуля)» автор бестселлеров Себастьян Рашка шаг за шагом проведет вас через процесс создания собственной большой языковой модели. Каждый этап объясняется понятным текстом, диаграммами и примерами. Вы пройдете путь от первоначального проектирования и создания до предварительного обучения на общем корпусе и до тонкой настройки для решения конкретных задач.
Курс «Создание большой языковой модели (с нуля)» научит вас:
• Спланировать и запрограммировать все части магистерской программы (LLM).
• Подготовьте набор данных, подходящий для обучения LLM.
• Доработайте LLM-модели для классификации текста и использования собственных данных.
• Используйте отзывы людей, чтобы убедиться, что ваша магистерская программа соответствует инструкциям.
• Загрузите предварительно обученные веса в LLM
Создание большой языковой модели (с нуля) позволит вам заглянуть внутрь «черного ящика» искусственного интеллекта и поэкспериментировать с внутренними системами, лежащими в основе генеративного ИИ. Проходя каждый ключевой этап создания большой языковой модели, вы получите глубокое понимание того, как работают большие языковые модели, их ограничений и методов настройки. Вашу большую языковую модель можно разработать на обычном ноутбуке и использовать в качестве личного помощника.
О технологии
Как сообщается, физик Ричард П. Фейнман сказал: «Я не понимаю ничего, чего не могу построить». Основываясь на этом же мощном принципе, автор бестселлеров Себастьян Рашка шаг за шагом проведет вас через процесс создания LLM-системы в стиле GPT, которую вы сможете запустить на своем ноутбуке. Это увлекательная книга, охватывающая каждый этап процесса, от планирования и кодирования до обучения и тонкой настройки.
О книге
«Создание большой языковой модели (с нуля)» — это практическое и чрезвычайно увлекательное путешествие в основы генеративного искусственного интеллекта. Не полагаясь на существующие библиотеки для создания больших языковых моделей, вы напишете базовую модель, разовьете ее в классификатор текста и, в конечном итоге, создадите чат-бота, способного следовать вашим инструкциям в разговоре. И вы действительно поймете его, потому что создали его сами!
Что внутри?
• Разработать и запрограммировать программу магистратуры в области права, сопоставимую с GPT-2.
• Загрузка предварительно тренированных весов
• Создать полноценный конвейер обучения
• Доработайте свою LLM для классификации текста.
• Разрабатывать программы обучения магистров наук, которые соответствуют инструкциям, выполняемым человеком.
О читателе
Читателям потребуются навыки работы с Python на среднем уровне и некоторые знания в области машинного обучения. Созданная вами модель LLM будет работать на любом современном ноутбуке и может дополнительно использовать графические процессоры (GPU).
Об авторе
Себастьян Рашка , доктор философии, — инженер-исследователь с магистерской степенью и более чем десятилетним опытом работы в области искусственного интеллекта. Его работа охватывает как промышленность, так и академическую среду, включая внедрение решений, разработанных в рамках магистерской программы, в качестве старшего инженера в компании Lightning AI, а также преподавание статистики в Университете Висконсина в Мэдисоне.
Себастьян сотрудничает с компаниями из списка Fortune 500 в области решений на основе искусственного интеллекта и входит в состав Совета по открытому исходному коду в Университете Висконсина в Мэдисоне. Он специализируется на программах магистратуры в области машинного обучения и разработке высокопроизводительных систем искусственного интеллекта, уделяя особое внимание практическим, основанным на коде реализациям. Он является автором бестселлеров « Машинное обучение с PyTorch и Scikit-Learn» и «Машинное обучение Q и ИИ» .
Техническим редактором этой книги был Дэвид Касвелл .
Оглавление
1. Понимание больших языковых моделей
2. Работа с текстовыми данными
3. Механизмы кодирования внимания
4. Реализация модели GPT с нуля для генерации текста.
5. Предварительное обучение на неразмеченных данных
6. Тонкая настройка для классификации
7. Тонкая настройка в соответствии с инструкциями.
Введение в PyTorch
B. Список литературы и дополнительные материалы для чтения
C. Решения для упражнений
D. Добавление дополнительных функций в цикл обучения.
E. Параметроэффективная тонкая настройка с помощью LoRA