Что такое параметры в нейросетях: 175 миллиардов секретов GPT
Дата публикации
Что скрывается за миллиардами параметров
Вспомните школьную алгебру с формулами вроде 2a + b. Буквы здесь - это параметры: подставьте значения и получите результат. В языковых моделях параметры работают так же, только масштаб просто сносит крышу. Когда модель обучается, каждый параметр получает случайное начальное значение. Затем начинается магия - алгоритм обучения запускает серию вычислений, которые постепенно корректируют эти значения. Модель делает ошибки, алгоритм анализирует их и подкручивает параметры так, чтобы в следующий раз промах был меньше. Этот процесс повторяется снова и снова, пока модель не начинает вести себя так, как задумали создатели.
Звучит просто? На практике обучение больших языковых моделей требует умопомрачительных вычислительных мощностей. 175 миллиардов параметров GPT-3 обновляются десятки тысяч раз каждый. В сумме получается квадриллион индивидуальных расчетов - число с 15 нулями. Поэтому тренировка нейросети пожирает столько энергии: тысячи специализированных суперкомпьютеров работают без остановки месяцами. Узнайте больше о современных технологиях искусственного интеллекта на AI Projects.
Три кита нейросетевой архитектуры
Внутри каждой языковой модели живут три типа параметров: эмбеддинги, веса и смещения. Эмбеддинг - это математическое представление слова в словаре модели. Словарь может содержать до нескольких сотен тысяч уникальных токенов (слов или их частей), которые определяются дизайнерами до начала обучения. Но изначально эти слова пусты - смысл появляется только в процессе тренировки.
Когда модель учится, каждое слово получает числовое значение, которое фиксирует его смысл относительно всех остальных слов на основе бесчисленных примеров из обучающих данных. Каждое слово превращается в своеобразный код - список чисел. Причем этот список довольно длинный: обычно 4096 чисел. Каждое число представляет отдельный аспект значения, извлеченный моделью из данных.
Почему именно 4096 измерений
Число может показаться странным, но у него есть логика. Языковые модели, как и все, что работает на компьютерных чипах, лучше всего функционируют со степенями двойки: 2, 4, 8, 16, 32, 64 и так далее. Инженеры обнаружили, что 4096 - это золотая середина между возможностями и эффективностью. Модели с меньшим количеством измерений слабее, а с большим - слишком дороги и медленны в обучении и работе.
Больше чисел позволяет модели улавливать тончайшие нюансы использования слова в разных контекстах, его скрытые коннотации, связи с другими словами. Представьте тысячи слов, парящих в воздухе вокруг вас. Слова, расположенные ближе друг к другу, имеют похожие значения. Например, "стол" и "стул" будут ближе друг к другу, чем к слову "космонавт", которое находится рядом с "луной" и "ракетой". Где-то вдалеке виднеется "престидижитация". Примерно так это работает, только вместо трех измерений слова внутри модели связаны через 4096 измерений.
По сути, языковая модель сжимает весь интернет в одну монументальную математическую структуру, которая кодирует непостижимое количество взаимосвязанной информации. Именно поэтому модели способны на удивительные вещи и одновременно остаются непостижимыми до конца.
Веса и смещения - настройщики контекста
Вес - это параметр, представляющий силу связи между разными частями модели. Это один из самых распространенных типов настроек поведения модели. Веса используются, когда языковая модель обрабатывает текст. Когда модель читает предложение или главу книги, она сначала находит эмбеддинги всех слов, а затем пропускает их через серию нейронных сетей, называемых трансформерами. Эти сети обрабатывают последовательности данных (например, текст) целиком. Каждое слово обрабатывается в связи со всеми остальными словами.
Здесь в игру вступают веса. Эмбеддинг представляет значение слова без контекста. Когда слово появляется в конкретном предложении, трансформеры используют веса для обработки значения этого слова в новом контексте. На практике это включает умножение каждого эмбеддинга на веса всех других слов.
Смещения - это еще один тип настройки, дополняющий эффект весов. Веса устанавливают пороги, при которых разные части модели активируются и передают данные дальше. Смещения корректируют эти пороги так, чтобы эмбеддинг мог запустить активность даже при низком значении. Смещения - это значения, которые добавляются к эмбеддингу, а не умножаются на него.
Сдвигая пороги активации частей модели, смещения позволяют уловить информацию, которая иначе была бы упущена. Представьте, что вы пытаетесь расслышать чьи-то слова в шумной комнате. Веса усилили бы самые громкие голоса сильнее всего, а смещения работают как ручка на устройстве прослушивания, которая поднимает тихие голоса в общем миксе.
Как модель выбирает следующее слово
Когда языковая модель обрабатывает фрагмент текста, числовое представление этого текста (эмбеддинг) проходит через множество слоев модели. В каждом слое значение эмбеддинга (тот самый список из 4096 чисел) обновляется много раз через серию вычислений с участием весов и смещений модели, пока не достигнет финального слоя.
Идея в том, что весь смысл, нюансы и контекст входного текста улавливаются финальным значением эмбеддинга после прохождения через головокружительную серию вычислений. Это значение затем используется для расчета следующего слова, которое должна выдать модель. Процесс сложнее, чем кажется: модель фактически вычисляет для каждого слова в своем словаре вероятность того, что оно появится следующим, и ранжирует результаты. Затем выбирает верхнее слово. Это слово добавляется к предыдущему блоку текста, и весь процесс повторяется, пока модель не вычислит, что наиболее вероятное следующее слово - это сигнал завершения вывода.
Дизайнеры моделей могут также задавать несколько других параметров, известных как гиперпараметры. Основные из них называются температура, top-p и top-k. Температура - это параметр, действующий как регулятор креативности. Он влияет на выбор модели следующего слова. Температура может подтолкнуть модель выбрать наиболее вероятное следующее слово, делая вывод более фактическим и релевантным, или менее вероятное слово, делая вывод более неожиданным и менее роботизированным. Top-p и top-k - еще две настройки, контролирующие выбор следующих слов моделью. Эти параметры влияют на то, как модель воспринимается - причудливой и креативной или надежной и скучной.
Маленькие модели против гигантов
Это один из самых горячих вопросов в искусственном интеллекте сейчас. Есть много способов достичь этого. Исследователи обнаружили, что объем обучающих данных имеет огромное значение. Сначала нужно убедиться, что модель видит достаточно данных: языковая модель, обученная на слишком малом количестве текста, не использует все свои параметры полностью, и меньшая модель, обученная на том же объеме данных, может превзойти ее.
Другой трюк, который нашли исследователи - переобучение. Показ моделям гораздо большего объема данных, чем считалось необходимым ранее, похоже, улучшает их производительность. Результат - маленькая модель, обученная на большом объеме данных, может превзойти более крупную модель, обученную на меньшем объеме данных. Возьмем модели Llama от Meta. Llama 2 с 70 миллиардами параметров обучалась примерно на 2 триллионах слов текста, а Llama 3 с 8 миллиардами параметров - примерно на 15 триллионах слов. Гораздо меньшая Llama 3 оказалась лучшей моделью.
Третья техника, известная как дистилляция, использует большую модель для обучения меньшей. Меньшая модель обучается не только на исходных обучающих данных, но и на выходах внутренних вычислений большей модели. Идея в том, что с трудом добытые уроки, закодированные в параметрах большей модели, просачиваются в параметры меньшей модели, давая ей преимущество. Получите практические рекомендации по внедрению AI-технологий на AI Projects.
Фактически, дни единых монолитных моделей могут закончиться. Даже самые большие модели на рынке, такие как GPT-5 от OpenAI и Gemini 3 от Google DeepMind, можно представить как несколько маленьких моделей в одном плаще. Используя технику под названием "смесь экспертов", большие модели могут активировать только те свои части ("экспертов"), которые требуются для обработки конкретного фрагмента текста. Это сочетает способности большой модели со скоростью и меньшим энергопотреблением маленькой.
Будущее параметров - качество важнее количества
Исследователи все еще выясняют способы максимально эффективно использовать параметры модели. По мере того как выгоды от простого масштабирования сходят на нет, увеличение количества параметров больше не дает той разницы, что раньше. Дело не столько в том, сколько их у вас есть, сколько в том, что вы с ними делаете. Эра гонки параметров уступает место эпохе умных архитектур и эффективных методов обучения. Современные модели учатся извлекать максимум из каждого параметра, используя продвинутые техники оптимизации и инновационные подходы к обработке данных.
Параметры остаются фундаментом языковых моделей, но теперь важнее не их количество, а качество настройки и способы использования. Будущее искусственного интеллекта - за моделями, которые делают больше с меньшими ресурсами, сохраняя при этом высокую производительность и точность.