Языковая модель рассуждений

Языковая модель рассуждений (англ. Reasoning language models, RLM, большая модель рассуждений, англ. large reasoning model, LRM) — разновидность больших языковых моделей, которые дополнительно обучаются для решения задач, требующих выполнения нескольких последовательных шагов рассуждения^[1]. Данные модели демонстрируют превосходство в задачах логики, математики и программирования по сравнению со стандартными большими языковыми моделями. Они способны возвращаться и пересматривать предыдущие шаги рассуждения, а также использовать дополнительное вычислительное время при формировании ответа, что служит ещё одним способом повышения производительности наряду с ростом числа обучающих примеров, параметров и вычислений при обучении^[2].

В сентябре 2024 года компания OpenAI выпустила модель o1-preview, большую языковую модель с улучшенными возможностями рассуждения^[3]. Полноценная версия o1 была выпущена в декабре 2024 года. Также OpenAI начала публиковать результаты следующей версии — o3^[4][5][6].

Развитие языковых моделей рассуждений иллюстрирует так называемый «горький урок» Рича Саттона: увеличение вычислительных ресурсов часто приводит к лучшим результатам, чем попытки внедрять специальные человеческие эвристики^[7]. Например, лаборатория GAIR исследовала сложные методы, такие как дерево поиска и обучение с подкреплением, чтобы воспроизвести возможности o1. В публикациях «o1 Replication Journey» сообщалось, что дистилляция знаний (обучение малой модели на выходах o1) неожиданно хорошо работает, что подчёркивало эффективность дистилляции в данном контексте^[8][9].

Alibaba выпустила версии своих моделей Qwen с возможностями рассуждения в ноябре 2024 года^[10]. В декабре 2024 года команда также представила QvQ-72B-Preview — экспериментальную модель визуального рассуждения^[11].

В декабре 2024 года Google представила функцию Deep Research в Gemini^[12], реализующую многозадачные многошаговые исследования^[13].

16 декабря 2024 года эксперимент с моделью Llama 3B показал, что увеличение вычислений только на этапе вывода позволяет относительно небольшой модели опережать значительно большую Llama 70B на сложных задачах рассуждения, что говорит о важности эффективных стратегий инференса даже для маломасштабных моделей^[14][15].

В январе 2025 года компания DeepSeek выпустила модель R1, сопоставимую по качеству с o1, но более экономичную. Эта модель показала эффективность метода Относительная группировка политики (GRPO)^[16][17]. 25 января 2025 года DeepSeek добавила в R1 возможность одновременного поиска информации в интернете при рассуждении, что облегчило комбинацию поиска и анализа. Эффективность дистилляции для моделей рассуждения была показана также моделью s1-32B, в которой сильное качество достигалось использованием методов ограничения ресурсов и масштабирования^[18][9].

2 февраля 2025 года OpenAI выпустила Deep Research на базе модели o3^[19], позволив проводить сложные исследовательские задачи и собирать расширенные отчёты с использованием различных источников из интернета^[19].

Большая языковая модель может быть дообучена на наборе данных, включающем задачи рассуждения с решениями и пошаговыми рассуждениями. Прошедшая дообучение модель затем способна генерировать собственную логическую цепочку для новых задач^[20][21].

Поскольку сбор набора ручных рассуждений трудоёмок, для автоматизации разметки применяются такие методы, как дообучение с отбракованными решениями (rejection sampling finetuning, RFT):^[22]

1. Сэмплируется задача.
2. Генерируется набор рассуждений для этой задачи.
3. Верификатор отбраковывает варианты с неправильным финальным ответом (и, опционально, дубликаты).

Предобученная языковая модель может быть дообучена с использованием методов обучения с подкреплением (RL). В таких задачах генеративная модель рассматривается как политика ${\displaystyle \pi }$, задача — как состояние среды ${\displaystyle x}$, а реакция модели — как действие ${\displaystyle y}$. Вероятность генерации ${\displaystyle y}$ по запросу ${\displaystyle x}$ записывается ${\displaystyle \pi (y|x)}$.

Обучение модели рассуждения с помощью RL требует построения модели вознаграждения ${\displaystyle r(x,y)}$. Высокое вознаграждение означает правильное решение, низкое — ошибку.

Ответ ${\displaystyle y}$ может состоять из нескольких шагов: ${\displaystyle y_{1},y_{2},\dots ,y_{n}}$.

В современных системах чаще используют методы градиентного обновления политики, например, Proximal Policy Optimization (PPO), поскольку такие методы стабилизируют обучение крупных моделей^[23].

Модель вознаграждения по результату (Outcome reward model, ORM) или Outcome-supervised RM^[20] назначает награду за шаг ${\displaystyle r(x,y_{1},\dots ,y_{i})}$ в зависимости от финального ответа: ${\displaystyle r(x,y_{1},\dots ,y_{i})=r(x,y_{n})}$. Такие модели ещё называют «верификаторами».

Для задач, где легко проверить, верен ли ответ (например, текстовые математические задачи), результат определяется бинарно: 1 — если ответ правильный, 0 — иначе^[20]. Если автоматическая проверка невозможна, требуется ручная разметка, на которой дообучается базовая модель^[21]. Для творческих задач (например, сочинения) модели обучают на человеческих ранжированных предпочтениях (см. обучение с подкреплением на человеческой обратной связи)^[24]. Базовая модель также может дообучаться на задаче предсказания, исходя из неполного (частичного) рассуждения, вероятности получения правильного финального ответа^[20].

Такие модели обычно обучают методом логистическая регрессия, минимизируя кроссэнтропийную функцию потерь^[25].

Имея PRM-модель, ORM может быть построена путём суммирования наград процесса, взятия минимума либо других агрегирующих методов. DeepSeek использовала простую ORM для обучения R1^[17].

Модель вознаграждения по процессу (Process reward model, PRM) или process-supervised RM^[20] оценивает качество шага ${\displaystyle r(x,y_{1},\dots ,y_{i})}$ только по текущему прогрессу рассуждения ${\displaystyle (x,y_{1},\dots ,y_{i})}$.

Аннотатор может вручную оценивать корректность каждого шага, не зная финального ответа. Это также приводит к бинарной оценке. Поскольку разметка ручным трудом дорога, её пытаются заменить дообучением модели на прогнозировании этих оценок^[20]. Стандартное обучение — логистическая регрессия по человеческим меткам^[25].

Например, в работе OpenAI 2023 года было собрано 800 тысяч меток для 75 тысяч цепочек рассуждений. Аннотатор отмечал каждый шаг как «положительный» (движение к решению), «нейтральный» (не ошибочен, но не помогает) или «отрицательный» (ошибка); при первой отрицательной метке аннотатор переходил к другому примеру^[24][26].

Чтобы обойтись без ручной разметки, предлагаются методы генерации PRM без человеческих меток. Например, метод Math-Shepherd, вдохновлённый поиском по дереву Монте-Карло, прогоняет по несколько вариантов рассуждения с каждого шага, а затем присваивает награду в зависимости от доли правильных финальных ответов (soft/hard estimation)^[25]. Некоторые работы используют полностью MCTS-подход^[27].

Также возможно построение PRM на основе ORM по аналогии с direct preference optimization^[28].

Обученная ORM может выступать критиком: политика генерирует несколько ответов, ORM выбирает лучший — реализуя простое масштабирование вычислений на этапе вывода («best-of-N»)^[21][29].

Обученная PRM может направлять рассуждение по дереву (tree search): политика выдвигает несколько шагов, PRM выбирает лучший, процедура повторяется. Жадный поиск реализуется так же. Более сложные методы, например, lookahead search, делают короткое форсирование на каждом шаге (rollout), PRM оценивает каждую ветку, выбирается оптимальная^[15].

Комбинация self-consistency и ORM: генерируется множество ответов, они кластеризуются по совпадению финальных решений, ORM оценивает каждый, выбирается наиболее надёжный кластер^[25].

Модели рассуждений практически всегда превосходят обычные языковые модели на тестах, особенно в задачах с несколькими шагами рассуждения^{[30][31][32][33][34]}.

Некоторые тестовые наборы исключают такие модели из-за высоких затрат времени и вычислений^{[35][36][37][38]}.

Бенчмарк HLE проверяет экспертные способности в рассуждениях по математике, гуманитарным и естественнонаучным дисциплинам и выявляет значительные различия между моделями. Даже новейшие модели показывают невысокие результаты: например, OpenAI o3 набрала 26,6 %^[19], облегчённая o3-mini-high (на текстовых вопросах) — 13 %^[39].

В конкурсе AIME (American Invitational Mathematics Examination) стандартные языковые модели обычно решают менее 30 % заданий, а модели рассуждений — от 50 до 80 %^[2][17][18]. При этом o1 в 2025 году сохранила или незначительно улучшила точность по сравнению с 2024 годом, тогда как o3-mini (high) показала ещё более высокую точность (80 %) при примерно в 12 раз меньших издержках^[40].

В отчёте OpenAI за январь 2025 года отмечается: регулировка «глубины рассуждения» существенно влияет на успехи модели, особенно в технических задачах. Переход от низкой к высокой степени рассуждения повышает точность на задачах AIME 2024, GPQA Diamond, Codeforces, обычно на 10-30 %. При высокой «глубине» o3-mini (high) достигала 87,3 % на AIME (отличается от MathArena AIME), 79,7 % на GPQA Diamond, 2130 Elo на Codeforces и 49,3 на SWE-bench Verified^[40].

Подобные модели часто требуют гораздо больше вычислений на этапе ответа, чем стандартные языковые модели. Например, в AIME они могут оказаться в 10-74 раза дороже^[24]. Они также уязвимы к атакам типа overthinking^[41], вызывающим чрезмерно долгие рассуждения и потенциальные перебои в работе сервиса.

Выходные ответы моделей рассуждения обычно объёмнее, чем у стандартных больших языковых моделей, а их генерация занимает значительно больше времени.

• GPT-5.2
• GPT-5.1
• GPT-5
• o4-mini
• o3 и o3-mini
• o1 и o1-preview

• 3.0 Pro и Flash
• 2.5 Pro и Flash
• 2.0 Flash Thinking

• V3.2
• V3.1
• R1 (на базе V3)
• R1-Lite-Preview (тестовая версия на базе V2.5)

• QvQ-72B-Preview — экспериментальная визуальная модель рассуждения (запущена 24 декабря 2024), объединяющая обработку изображений и текстовых цепочек рассуждений.
• QwQ-32B-Preview — экспериментальная текстовая модель рассуждения, ориентированная на сложный пошаговый анализ (ноябрь 2024).

• Claude Sonnet 4.5
• Claude Opus 4.1
• Claude Sonnet 4.1
• Claude Opus 4
• Claude Sonnet 4
• Claude Sonnet 3.7 с настраиваемым количеством «токенов размышлений».

• Magistral (средние и малые)

• Grok 3
• Grok 4

• OlympicCoder-7B и 32B — в рамках проекта открытого воспроизведения обучения R1 (Open R1)^[42][43].

• Fortes, Armando. atfortes/Awesome-LLM-Reasoning . GitHub (27 января 2025). Дата обращения: 27 января 2025.
• Huang, Jie; Chang, Kevin Chen-Chuan (26 мая 2023). Towards Reasoning in Large Language Models: A Survey. arXiv:2212.10403 [cs.CL].
• Besta, Maciej; Barth, Julia; Schreiber, Eric; Kubicek, Ales; Catarino, Afonso; Gerstenberger, Robert; Nyczyk, Piotr; Iff, Patrick; Li, Yueling (23 января 2025). Reasoning Language Models: A Blueprint. arXiv:2501.11223 [cs.AI].

• Большая подборка ресурсов по моделям рассуждений — Awesome LLM Reasoning (GitHub)