ru

Создайте свою собственную большую языковую модель (LLM) с нуля: практическое пошаговое руководство по Python, PyTorch, архитектуре трансформеров, предварительному обучению, тонкой настройке и генеративному искусственному интеллекту на русском

#593657
Создайте свою собственную большую языковую модель (LLM) с нуля: практическое пошаговое руководство по Python, PyTorch, архитектуре трансформеров, предварительному обучению, тонкой настройке и генеративному искусственному интеллекту

CREATE YOUR OWN LARGE LANGUAGE MODEL (LLM) FROM SCRATCH: A Practical, Step-by-Step Guide to Python, PyTorch, Transformer Architecture, Pretraining, Fine-Tuning, and Generative AI (B0HLF3ZDJM)

Купить и скачать электронную книгу в форматах PDF, EPUB, FB2, MOBI

Suresh Babu | #239: Программирование на Python

Что на самом деле происходит внутри большой языковой модели — и как вы можете создать её самостоятельно?

Большие языковые модели ( БЛМ ) могут показаться невероятно сложными, но их основы можно понять, изучив архитектуру, математические методы, методы обработки данных и методы обучения, которые лежат в их основе.

Книга «СОЗДАЙТЕ СОБСТВЕННУЮ БОЛЬШУЮ ЯЗЫКОВУЮ МОДЕЛЬ С НУЛЯ» знакомит вас с основными элементами языковой модели в стиле GPT, используя Python и PyTorch. Вместо того чтобы рассматривать ИИ как «черный ящик», это практическое руководство поможет вам понять, как компоненты взаимодействуют друг с другом для обработки текста, изучения закономерностей и генерации ответов.

Внутри вы увидите:

  • Токенизация и BPE: преобразование необработанного текста в токены, которые может обрабатывать языковая модель.
  • Встраивание данных и позиционная информация: Понимание того, как модели представляют слова и их позиции.
  • Архитектура Transformer: Изучение запросов, ключей, значений, причинно-следственного внимания, многоголовочного внимания и блоков Transformer.
  • Основы предварительного обучения: изучение прогнозирования следующего токена, функции потерь кросс-энтропии, оптимизации на основе градиента и роли алгоритма AdamW.
  • Генерация текста: понимание стратегий выборки и того, как обученная модель создает новый текст.
  • Тонкая настройка и адаптация: изучите настройку инструкций, параметрически эффективную тонкую настройку и LoRA.
  • Оценка модели: Изучите понятия сложности, валидации и проблемы оценки сгенерированного текста.
  • Практическая реализация: свяжите концепции посредством структурированного процесса разработки на Python и PyTorch.

Независимо от того, являетесь ли вы программистом на Python, стремящимся освоить искусственный интеллект, студентом компьютерных наук или начинающим разработчиком машинного обучения, эта книга заложит основу для понимания инженерных принципов, лежащих в основе современных языковых моделей.

Для понимания принципов работы языковых моделей не обязательно создавать масштабную коммерческую систему искусственного интеллекта. Цель состоит в том, чтобы изучить архитектуру и методы с помощью управляемой модели в образовательном масштабе, аналогичной GPT.

Разберитесь в технологии. Изучите код. Расширьте свои знания о системах, формирующих будущее искусственного интеллекта.