Создайте свою собственную большую языковую модель (LLM) с нуля: практическое пошаговое руководство по Python, PyTorch, архитектуре трансформеров, предварительному обучению, тонкой настройке и генеративному искусственному интеллекту на русском
CREATE YOUR OWN LARGE LANGUAGE MODEL (LLM) FROM SCRATCH: A Practical, Step-by-Step Guide to Python, PyTorch, Transformer Architecture, Pretraining, Fine-Tuning, and Generative AI (B0HLF3ZDJM)
Купить и скачать электронную книгу в форматах PDF, EPUB, FB2, MOBI
Suresh Babu | #239: Программирование на Python
Что на самом деле происходит внутри большой языковой модели — и как вы можете создать её самостоятельно?
Большие языковые модели ( БЛМ ) могут показаться невероятно сложными, но их основы можно понять, изучив архитектуру, математические методы, методы обработки данных и методы обучения, которые лежат в их основе.
Книга «СОЗДАЙТЕ СОБСТВЕННУЮ БОЛЬШУЮ ЯЗЫКОВУЮ МОДЕЛЬ С НУЛЯ» знакомит вас с основными элементами языковой модели в стиле GPT, используя Python и PyTorch. Вместо того чтобы рассматривать ИИ как «черный ящик», это практическое руководство поможет вам понять, как компоненты взаимодействуют друг с другом для обработки текста, изучения закономерностей и генерации ответов.
Внутри вы увидите:
- Токенизация и BPE: преобразование необработанного текста в токены, которые может обрабатывать языковая модель.
- Встраивание данных и позиционная информация: Понимание того, как модели представляют слова и их позиции.
- Архитектура Transformer: Изучение запросов, ключей, значений, причинно-следственного внимания, многоголовочного внимания и блоков Transformer.
- Основы предварительного обучения: изучение прогнозирования следующего токена, функции потерь кросс-энтропии, оптимизации на основе градиента и роли алгоритма AdamW.
- Генерация текста: понимание стратегий выборки и того, как обученная модель создает новый текст.
- Тонкая настройка и адаптация: изучите настройку инструкций, параметрически эффективную тонкую настройку и LoRA.
- Оценка модели: Изучите понятия сложности, валидации и проблемы оценки сгенерированного текста.
- Практическая реализация: свяжите концепции посредством структурированного процесса разработки на Python и PyTorch.
Независимо от того, являетесь ли вы программистом на Python, стремящимся освоить искусственный интеллект, студентом компьютерных наук или начинающим разработчиком машинного обучения, эта книга заложит основу для понимания инженерных принципов, лежащих в основе современных языковых моделей.
Для понимания принципов работы языковых моделей не обязательно создавать масштабную коммерческую систему искусственного интеллекта. Цель состоит в том, чтобы изучить архитектуру и методы с помощью управляемой модели в образовательном масштабе, аналогичной GPT.
Разберитесь в технологии. Изучите код. Расширьте свои знания о системах, формирующих будущее искусственного интеллекта.