Естественный язык устроен так, что почти всякое высказывание оставляет пространство для нескольких прочтений, и эта особенность, которую лингвисты давно считают не дефектом, а условием нормального функционирования коммуникации, оборачивается довольно серьезной проблемой, едва речь заходит о системах, которые обязаны выдавать однозначный и проверяемый результат.

Когда большие языковые модели приходят в диалоговые системы, в юридические и медицинские ассистенты, где ошибка стоит дорого, способность распознать неоднозначность и вовремя задать уточняющий вопрос, превращается из второстепенного умения в критически важное свойство, отсутствие которого в итоге ведет к уверенному, но ложному ответу, а через него и к дезинформации [7].

Сравнение GPT-4 и Llama 3 в этом контексте интересно сразу по нескольким причинам, и первая из них связана с несопоставимостью масштабов: так, если GPT-4, по разным оценкам, содержит около 1,76 трлн параметров, то Llama 3 ограничивается всего лишь 70 млрд, что не мешает последней на отдельных задачах если не обгонять, то по крайней мере не уступать своему конкуренту.

Сравнение GPT-4 и Llama 3 в этом контексте интересно сразу по нескольким причинам, и первая из них связана с несопоставимостью масштабов: если GPT-4, по разным оценкам, содержит около 1,76 трлн параметров, то Llama 3 ограничивается 70 млрд, что не мешает последней на отдельных задачах если не обгонять, то по крайней мере не уступать конкуренту.

Вторая причина лежит в плоскости доступности и автономности: исследования показывают, что малые открытые модели способны работать локально на CPU без обращения к внешним API и без использования GPU, что снимает зависимость от облачных провайдеров и снижает эксплуатационные издержки [1].

Наконец, третье соображение носит методологический характер: открытая архитектура допускает целенаправленное дообучение, в том числе с применением методов LoRA и QLoRA, эффективных даже при ограниченных вычислительных ресурсах, тогда как закрытая модель такой возможности не предоставляет [9].

Прежде чем сопоставлять модели, необходимо разобраться с тем, что именно подлежит измерению, поскольку неоднозначность не есть монолитное явление, но представляет собой семейство разнородных феноменов, каждый из которых по-своему проявляется в задачах обработки языка.

Систематизация этих феноменов применительно к существующим бендчмаркам приведена в таблице 1.

Таблица 1

Типы неоднозначности и их отражение в бендчмарках

Из таблицы 1 видно, что нынешняя инфраструктура покрывает почти все теоретически выделяемые типы, за единственным исключением, которое автор считает принципиально важным и о котором речь пойдет ниже, а именно контекстуальной неоднозначности, возникающей из-за неполноты диалоговой истории и потому плохо воспроизводимой в статичных оценочных наборах. Отдельного разговора заслуживает эпистемическая неоднозначность, введенная в бендчмарке CLAMBER и распадающаяся на две категории, Unfamiliar и Contradiction, где первая отсылает к незнакомой теме, а вторая к противоречию между теми сведениями, которыми модель уже располагает [17]. Такой тип неоднозначности не имеет прямого аналога в классической лингвистической таксономии, поскольку отражает специфически машинное свойство, а именно неполноту параметрической памяти, и потому требует отдельной исследовательской оптики.

Можно выделить четыре базовые стратегии, к которым прибегают модели, столкнувшись с неоднозначным запросом: запрос уточнения, генерация нескольких интерпретаций, переформулировка запроса и уверенный ответ без уточнения.

Первая стратегия считается предпочтительной в критических сценариях, хотя и требует от модели редкого умения сомневаться в собственных допущениях; вторая увеличивает информационную нагрузку на пользователя; третья применима преимущественно в поисковых системах; четвертая создает риск галлюцинации.

Исследования CLAMBER показывает, насколько ограниченными остаются возможности моделей, и заодно опровергает распространенное представление о промптинге как универсальном средстве повышения качества: «Даже с поддержкой Chain-of-Thought и few-shot промптинга LLM испытывают трудности в идентификации неоднозначности. Эти техники могут приводить к сверхуверенности и давать лишь маргинальный прирост» [17].

Приведенная цитата важна тем, что указывает на принципиальное различие между последовательным рассуждением и сомнением в исходных допущениях: Chain-of-Thought учит модель выстраивать цепочку шагов, но не побуждает ее усомниться в том, правильно ли понят вопрос, а потому маргинальный прирост, о котором говорят авторы, по-видимому, есть не случайность, а закономерное следствие самой природы примененной техники.

Оценочные наборы, сложившиеся к настоящему времени, различаются как по объему, так и по типам фиксируемой неоднозначности, и сводные характеристики этих наборов приведены в таблице 2.

Таблица 2

Сравнительные характеристики бендчмарков [13; 14; 15; 16]

Обращаясь к таблице 2, нетрудно заметить, что почти все перечисленные в ней наборы ориентированы на английский язык, и если CLAMBER включает еще и китайскоязычную часть, а AmbiK создан при участии отечественных исследователей, то в остальном картина остается довольно удручающе однообразной. На наш взгляд, это является системным пробелом, причем пробелом двояким: морфологическая сложность русского языка с его шестью падежами, свободным порядком слов и богатой системой видовременных форм создает источники неоднозначности, не воспроизводимые в английском материале, а отсутствие русскоязычных бендчмарков лишает исследователей возможности проверять выводы, которые получены на англоязычных данных, в родной языковой среде.

Метрики, к которым прибегают разработчики, включают: accuracy, consistency, clarification quality и cost-efficiency, а помимо них применяются и Contextual Consistency Score для оценки семантической согласованности триады «вопрос, ответ, доказательный фрагмент» [1], а также такие показатели, как nDCG@K и MAP@K, которые служат для оценки поискового этапа [6]. Мы полагаем, что набор метрик следовало бы расширить за счет показателя, учитывающего стоимость уточняющего диалога, поскольку существующие меры оценивают корректность ответа, но, в свою очередь, оставляют в стороне временные и когнитивные издержки, которые несет пользователь, который вынужден отвечать на дополнительные вопросы, и без учета указанных издержек сравнение моделей оказывается неполным.

Результаты бендчмарка TRAVELER демонстрируют картину, которую трудно назвать линейной: Llama3–70B опережает GPT-4 на категориях Explicit (0,92 против 0,84) и Implicit (0,74 против 0,64), однако на Vague-запросах обе модели терпят одинаковый крах. Исследовательская работа разработчиков бендчмарка фиксирует это положение с предельной ясностью: «Llama3–70B немного превосходит GPT-4 в категориях Explicit и Implicit, но обе модели резко падают на Vague-запросах» [14]. Следовательно, это подтверждает, что разрыв между моделями не является равномерным, и преимущество Llama3–70B достигается на относительно простых типах ссылок, тогда как на наиболее сложном Vague-уровне обе модели показывают близкие и сходные значения (0,46 и 0,44 соответственно). Это можно интерпретировать как признак того, что ограничение связано не с числом параметров, а с отсутствием у обеих моделей механизмов представления неопределенности, и эта гипотеза находит косвенное подтверждение в том, что даже значительное увеличение масштаба не улучшает положение на наиболее трудной категории.

Полные данные приведены в таблице 3.

Таблица 3

Результаты бендчмарка TRAVELER (Accuracy)

Оценка способности к дисамбигуации выявила отставание от человеческого уровня, которое нельзя не признать обескураживающим. Например, как отмечено в исследовании: «GPT-4 генерирует корректные дисамбигуации лишь в 32 % случаев против 90 % у людей» [15]. Данный результат имеет принципиальное значение, ввиду того, что показывает, что даже наиболее мощная из рассматриваемых моделей решает задачу в три раза хуже человека, и мы полагает, что причина кроется именно в характере самой задачи: дисамбигуация требует обращения к прагматическому контексту, нигде не представленному во входных данных в явной форме, а потому модель вынуждена опираться лишь на статистические закономерности обучающего корпуса, тогда как человек свободно пользуется ситуативным знанием, которое является недоступным для машины.

Метрика consistency демонстрирует расхождение между моделями, которое едва ли можно объяснить простой разницей в масштабе: Llama 3.1 показывает 25,66 % на однозначных предложениях и 23,59 % на неоднозначных, тогда как GPT-4o демонстрирует 43,46 % и 40,40 % соответственно, и разрыв сохраняется по метрике near-correctness, где GPT-4o достигает 79,52 % против 43,07 % у Llama 3.1 [11]. Полные данные представлены в таблице 4.

Таблица 4

Результаты бендчмарка Correct-Detect

Обращаясь к таблице 4, стоит задержаться на одном важном обстоятельстве, которое легко упустить при беглом изучении: падение consistency при переходе от однозначных предложений к неоднозначным у обеих моделей составляет около трехпроцентных пунктов, то есть модели не деградируют при обнаружении неоднозначности, а попросту не замечают ее и работают с неоднозначным входом точно так же, как и с однозначным. Этот вывод также согласуется с наблюдением бендчмарка CLAMBER о сверхуверенности моделей [17] и позволяет утверждать о том, что проблема лежит не в точности ответа, а в самом факте отсутствия сигнала о необходимости уточнения.

В бендчмарке AmbiK метод Binary превзошел подходы KnowNo и LAP по показателю ICR, и Llama-3–8B показала результаты: Unambiguous 0,87; Preferences 0,22; Common Sense 0,28; Safety 0,22, тогда как GPT-4 показал: Unambiguous 0,69; Preferences 0,33; Common Sense 0,46; Safety 0,37 [13].

Показательно, что Llama-3–8B существенно превосходит GPT-4 на однозначных задачах (0,87 против 0,69), но уступает на категориях Preferences и Common Sense, и это можно трактовать как указание на то, что открытая модель лучше справляется с формализованными задачами, но, в свою очередь, хуже использует имплицитные знания о пользователе, откуда следует практический вывод: при выборе модели для конкретного сценария следует учитывать не усредненные показатели, а профиль по отдельным категориям, поскольку усреднение способно скрыть именно те различия, которые имеют решающее значение.

Согласно данным бендчмарка MARCH, 48,4 % реальных пользовательских запросов содержат неоднозначность, 17,7 % включают multi-hop reasoning, а 13,3 % сочетают оба фактора, и, как отмечают исследователи в данной области, «когда неоднозначность возникает на промежуточных шагах multi-hop рассуждения, неопределенность каскадно нарастает, ранние ошибки блокируют модель в неверных путях» [16]. Данное наблюдение имеет критическое значение для проектирования диалоговых систем, поскольку из него следует необходимость промежуточной валидации рассуждения, а не только финальной проверки ответа, и в терминах RAG-пайплайна это означает, что повторное ранжирование должно затрагивать не один лишь финальный контекст, но и промежуточные результаты на каждом шаге.

На лингвистических задачах обнаружения грамматических конструкций Llama 3 показывает F1 = 0,615 на коротких текстах, тогда как на длинных текстах лучший результат Llama 3.1 составляет лишь 0,240, а ряд моделей (Phi 3, Gemma 2) не нашли ни одного случая страдательного залога [3].

На задачах табличного анализа Llama 8B показала точность 0,18–0,21, Llama 70B показала всего 0,39–0,42, тогда как GigaChat 2 Pro и YandexGPT 5 Pro достигли 0,53–0,58 [9]. Совокупность изложенных данных позволяет утверждать, что разрыв между GPT-4 и Llama 3 не сводится к единственной причине, но определяется типом задачи, длиной контекста, а также и степенью доменной адаптации.

Отдельного рассмотрения заслуживает проблема частотного смещения, которая была обнаружена при анализе Llama-2 и Llama-3 в задачах классификации неоднозначных конструкций: модели показывают высокий micro-F1 в диапазоне 0,48–0,53, однако macro-F1 оказывается существенно ниже и составляет всего 0,10–0,15, и столь значительный разрыв указывает на то, что модель систематически предсказывает наиболее частотный класс, игнорируя при этом редкие категории неоднозначности [15]. Вышеизложенное наблюдение выступает одним из наиболее значимых для практики, поскольку в реальных сценариях редкие типы неоднозначности встречаются именно там, где цена ошибки максимальна: неоднозначность требований безопасности в задачах робототехники встречается реже других категорий, но ее неверная интерпретация способна привести к реальному физическому ущербу, а потому метрики, усредненные по классам, дают искаженное представление о пригодности модели. В качестве необходимых нововведений видится следующее, что при сравнении LLM в задачах обработки неоднозначности следует обязательно приводить как micro-, так и macro-усредненные метрики, а также указывать распределение классов в тестовом наборе, и без соблюдения этого условия выводы о превосходстве одной модели над другой, рискуют оказаться всего лишь артефактом усреднения.

Русскоязычное направление в области обработки неоднозначности представлено несколькими работами, заслуживающими отдельного упоминания. К примеру, бендчмарк AmbiK, разработанный при участии МФТИ и AIRI, является примером отечественного вклада в международную инфраструктуру оценки [13]. Далее, исследование Гиталовой Д. Д. посвящено детектированию неоднозначности в инструкциях на основе конфликта семантических валентностей [4]. Работа Большиной А. С. рассматривает создание псевдоаннотированного обучающего корпуса для задачи разрешения лексической неоднозначности с помощью ансамбля моделей [2]. Исследование Зубань Д. А. и Яркеева А. С. описывает совместное использование методов глубокого обучения и семантических сетей для разрешения лексической неоднозначности в русскоязычных текстах [5]. Вышеизложенные перечисленные работы носят преимущественно методический характер и не образуют между собой единой системы оценки, сопоставимой с англоязычной инфраструктурой, и это создает реальный пробел, затрудняющий сравнение GPT-4 и Llama 3 на русскоязычном материале, а потому разработка отечественного бендчмарка, который охватывает хотя бы основные типы неоднозначности, представляется задачей первоочередной важности.

Причины расхождения между моделями многообразны, и свести их к одному обстоятельству не удается.

Первый фактор связан с архитектурным масштабом: GPT-4 содержит порядка 1,76 трлн параметров, а Llama 3 ограничивается всего лишь 70 млрд, однако, как показано выше, масштаб не гарантирует превосходства на всех типах неоднозначности.

Второй фактор определяется промптингом, и Chain-of-Thought вместе с few-shot не устраняют проблему, а в некоторых случаях и усиливают сверхуверенность [17].

Третий фактор связан с типом неоднозначности: референциальная и темпоральная оказываются слабым местом обеих анализируемых моделей, тогда как синтаксическая относительно лучше обрабатывается GPT-4.

Четвертый фактор определяется дообучением, и DPO-файнтюнинг Llama 3.1–8B существенно улучшает разрешение референциальной неоднозначности [12].

Пятый фактор связан с семантическим шумом: ошибки оптического распознавания символов (OCR) и структурные искажения каскадно снижают качество поиска (retrieval) и генерации, а повторное ранжирование (reranking) повышает точность на 12–18 % [8].

Шестой фактор, о котором речь шла раннее, связан с частотным смещением.

Практические выводы зависят от предметной области, и универсальной рекомендации здесь не существует. Для задач с высокими требованиями к стабильности, будь то юриспруденция или медицина, предпочтительнее GPT-4o; для бюджетных решений с допустимым разбросом применима и Llama 3, однако в обоих случаях сохраняется необходимость экспертной валидации, поскольку, как отмечается в исследовании логических противоречий LLM, «без контроля со стороны человека LLM не могут автоматически принимать решения в области безопасности» [7]. Сравнение GPT-4 и Llama 3 по усредненным метрикам оказывается малопродуктивным, и куда полезнее сопоставлять модели по профилям неоднозначности, то есть по векторам значений на отдельных категориях, поскольку такой подход позволяет выбирать модель под конкретный сценарий, а не руководствоваться всего лишь общими рейтингами.

Ограничения проделанного анализа связаны с преимущественно англоязычным характером бендчмарков, малым числом работ по многоходовому диалогу и субъективностью ряда оценок. Русскоязычный вклад представлен бендчмарком AmbiK, разработанным при участии МФТИ и AIRI, что указывает на формирование национальной инфраструктуры оценки, хотя до полноценной системы, способной конкурировать с англоязычными наборами, здесь еще давольно далеко. Этические риски связаны с тем, что сверхуверенность LLM при неоднозначных запросах ведет к дезинформации, и мы считает необходимым включение в архитектуру диалоговых систем обязательного этапа уточнения в тех случаях, когда модель не может однозначно интерпретировать запрос.

Ни GPT-4, ни Llama 3 не достигают человеческого уровня в обработке неоднозначности, и разрыв между моделями варьируется в зависимости от типа неоднозначности и применяемой метрики. Llama3–70B превосходит GPT-4 на Explicit и Implicit темпоральных ссылках, тогда как GPT-4o демонстрирует более высокую стабильность решений и лучше справляется с категориями Preferences и Common Sense, а обе модели показывают резкое падение на Vague-запросах и на задачах дисамбигуации.

Литература:

1. Антипова С. А., Журкин А. М. Ресурсно-адаптивный подход к разметке текстовых данных в структурированном виде с использованием малых языковых моделей // Компьютерные исследования и моделирование. — 2026. — Т. 18, № 1. — С. 41–59.
2. Большина А. С. Создание псевдоаннотированного обучающего корпуса для задачи разрешения лексической неоднозначности с помощью ансамбля моделей // Интеллектуальные системы. Теория и приложения. — 2022. — Т. 26, № 1. — С. 185–189.
3. Бураков И. И., Артеменко О. А. Оценка открытых больших языковых моделей для обнаружения грамматических конструкций // Искусственный интеллект в автоматизированных системах управления и обработки данных: сборник статей III Всероссийской научной конференции. — М.: КДУ, 2025. — Т. 2. — С. 38–42.
4. Гиталова Д. Д. Детектирование неоднозначности в инструкциях на основе конфликта семантических валентностей. — М.: МФТИ, [б.г.].
5. Зубань Д. А., Яркеев А. С. Совместное использование методов глубокого обучения и семантических сетей для разрешения лексической неоднозначности в тексте на русском языке. — СПб.: Университет ИТМО, [б.г.].
6. Киричков Е. Е., Горкунов Н. М. Исследование влияния позднего фрагментирования документов на качество полнотекстового поиска в коллекции русскоязычных текстов с использованием языковых моделей для создания эмбеддингов // Искусственный интеллект в автоматизированных системах управления и обработки данных: сборник статей III Всероссийской научной конференции. — М.: КДУ, 2025. — Т. 2. — С. 49–54.
7. Семченок В. Д. Исследование методов устранения логических противоречий в больших языковых моделях // Искусственный интеллект в автоматизированных системах управления и обработки данных: сборник статей III Всероссийской научной конференции. — М.: КДУ, 2025. — Т. 2. — С. 92–96.
8. Смирнов Ю. А. Разработка методологии автоматической обработки учебных пособий для генерации вопросно-ответных конструкций с использованием современных методов NLP: выпускная квалификационная работа магистра. — Томск: НИ ТГУ, 2025.
9. Томин Д. С. Разработка и апробация модели интеграции больших языковых моделей (LLM) в электронные таблицы: выпускная квалификационная работа магистра. — Екатеринбург: УрФУ, 2025. — 110 с.
10. Уралова Е. А., Мартынова П. В., Симонов М. Ф. Запросы к базе данных на естественном языке с использованием искусственного интеллекта // Искусственный интеллект в автоматизированных системах управления и обработки данных: сборник статей III Всероссийской научной конференции. — М.: КДУ, 2025. — Т. 2. — С. 104–107.
11. Correct-Detect: Balancing Performance and Ambiguity Through the Lens of Coreference Resolution in LLMs // Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing. — 2025. — P. 30044–30058.
12. Ellinger L., Groh G. It Depends: Resolving Referential Ambiguity in Minimal Contexts with Commonsense Knowledge // Proceedings of the ACL Workshop on Uncertainty in NLP. — 2025. — uncertainlp-main.20.
13. Ivanova A., et al. AmbiK: Dataset of Ambiguous Tasks in Kitchen Environment // Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics. — 2025. — P. 33216–33241.
14. Kenneweg S., et al. TRAVELER: A Benchmark for Evaluating Temporal Reasoning Across Vague, Implicit and Explicit References // SN Computer Science. — 2026. — DOI: 10.1007/s42979–026–04973-y.
15. Liu A., et al. We're Afraid Language Models Aren't Modeling Ambiguity // Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing. — 2023. — P. 790–807.
16. MARCH: Multi-hop Reasoning with Ambiguity Evaluation for Illusory Questions // Findings of the Association for Computational Linguistics: ACL 2026. — arXiv:2509.22750.
17. Zhang T., et al. CLAMBER: A Benchmark of Identifying and Clarifying Ambiguous Information Needs in Large Language Models // Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics. — 2024. — P. 10746–10766.