Под капотом: постройте каждый слой большой языковой модели с нуля на русском
#31740
Under The Hood: Build Every Layer of a Large Language Model from Scratch (B0H9FYVK3W)
Купить и скачать электронную книгу в форматах PDF, EPUB, FB2, MOBI
Ramchand Kumaresan | #56: Нейронные сети
Большинство книг объясняют, как работают большие языковые модели. Эта же книга заставляет вас построить такую модель — каждый её слой, от скалярного метода `.backward()` до полностью понятной вам производственной среды разработки.
Книга Under the Hood содержит 36 практических проектов, и каждый из них построен по одному и тому же принципу: собрать, разобрать, измерить.
Вы пишете каждую систему с нуля, проводите эксперимент, призванный заставить её выйти из строя, и анализируете цифры, чтобы понять, почему. Никаких отговорок от сложных моментов.
Что вы будете строить:
• Автоградация и механизм внимания на основе фундаментальных принципов
• GPT, который вы обучаете самостоятельно, — затем детали, которые имеют значение (нормы, позиционные кодировки, токенизация).
• Быстрый вывод: кэш ключ-значение, спекулятивное декодирование, внимание к групповым запросам, обслуживание запросов fp8.
• Квантование, метод «смешанных экспертов», законы масштабирования, расширение контекста.
• Согласование: RLHF, DPO, RLVR и рассуждения во время тестирования
• Перспективы 2026 года: диффузионное/неавторегрессивное декодирование и гибридные модели SSM-внимания.
Для кого это предназначено: для инженеров и исследователей, которые хотят достаточно глубоко разобраться в LLM-системах, чтобы создавать, отлаживать и внедрять их, а не просто использовать.
Каждое утверждение проверяется по первоисточнику; контрольные показатели поставщиков соответствующим образом маркируются. Если производительность низкая, проводится анализ производительности.
Если что-то не так, вы ломаете это специально, чтобы посмотреть, как.
Бесплатный, работающий код для всех 36 проектов доступен на GitHub.
Книга Under the Hood содержит 36 практических проектов, и каждый из них построен по одному и тому же принципу: собрать, разобрать, измерить.
Вы пишете каждую систему с нуля, проводите эксперимент, призванный заставить её выйти из строя, и анализируете цифры, чтобы понять, почему. Никаких отговорок от сложных моментов.
Что вы будете строить:
• Автоградация и механизм внимания на основе фундаментальных принципов
• GPT, который вы обучаете самостоятельно, — затем детали, которые имеют значение (нормы, позиционные кодировки, токенизация).
• Быстрый вывод: кэш ключ-значение, спекулятивное декодирование, внимание к групповым запросам, обслуживание запросов fp8.
• Квантование, метод «смешанных экспертов», законы масштабирования, расширение контекста.
• Согласование: RLHF, DPO, RLVR и рассуждения во время тестирования
• Перспективы 2026 года: диффузионное/неавторегрессивное декодирование и гибридные модели SSM-внимания.
Для кого это предназначено: для инженеров и исследователей, которые хотят достаточно глубоко разобраться в LLM-системах, чтобы создавать, отлаживать и внедрять их, а не просто использовать.
Каждое утверждение проверяется по первоисточнику; контрольные показатели поставщиков соответствующим образом маркируются. Если производительность низкая, проводится анализ производительности.
Если что-то не так, вы ломаете это специально, чтобы посмотреть, как.
Бесплатный, работающий код для всех 36 проектов доступен на GitHub.