Введение
Генерация тестов языковыми моделями реализована в TestSpark [1] и TestPilot [4]; качество таких тестов исследовано в [2, 5]. Однако отдельные корректно сформулированные сценарии могут иметь несовместимые ожидания.
Формальная проверка противоречий в требованиях рассматривается в [3]. В настоящей работе проверяются пары тест-кейсов с учётом действий, условий, времени и результатов. Вклад состоит в формулировке критерия для этой структуры и пилотной оценке его реализации, а не в создании нового принципа логической выполнимости.
Цель — сформулировать критерий несовместимости и предварительно оценить его реализацию.
1. Постановка задачи и формальная модель
Тест — кортеж Tᵢ = (Dᵢ, Aᵢ, Pᵢ, τᵢ, Eᵢ): функциональная область, действие, предусловия, временной контекст и ожидаемый результат. Условия записываются как пары «поле — значение», время — как интервал.
Противоречие требует совместимости условий и несовместимости ожиданий.
Обозначим Cᵢ формулу контекста, Eᵢ — формулу ожидаемого состояния. Для тестов i и j критерий имеет вид:
SAT(Cᵢ ∧ Cⱼ) = 1; SAT(Cᵢ ∧ Cⱼ ∧ Eᵢ ∧ Eⱼ) = 0. (1)
SAT(F) = 1 означает выполнимость F. Критерий применим к одному моменту наблюдения при детерминированных ожиданиях; допустимые альтернативные исходы не являются противоречием.
Пример: после третьей ошибки входа учётная запись блокируется на 15 минут. Немедленный вход нельзя одновременно разрешить и запретить; по истечении блокировки вход допустим.
Таблица 1
Пример противоречия и допустимого расхождения
|
Тест |
Предусловия и момент проверки |
Ожидаемый результат |
|
T1 |
Три ошибки; непосредственно после блокировки |
Вход запрещён |
|
T2 |
Три ошибки; непосредственно после блокировки |
Вход разрешён |
|
T3 |
Три ошибки; после завершения блокировки |
Вход разрешён |
2. Реализация структурной проверки
Полная схема предполагает извлечение структуры языковой моделью и логическую проверку. В эксперименте поля подготовлены вручную: оценён только второй этап.
Алгоритм сопоставляет область и действие, общие значения предусловий и пересечение временных интервалов. При совместимых контекстах разные значения одного поля результата означают противоречие. Отсутствующий ключ ограничений не накладывает.
Это частный случай критерия (1), без SAT-решателя и межполевых зависимостей.
Базовая эвристика требует буквального совпадения области, действия и условий; различный текст результата трактуется как конфликт. Она иллюстрирует пользу структурирования, но не представляет сильный современный метод сравнения.
3. Организация предварительного эксперимента
Подготовлены 40 синтетических пар: 18 противоречивых и 22 непротиворечивые. Охвачены вход, регистрация, восстановление пароля, профиль, заказ и сессии; варьируются роли, время и формулировки.
Поля и эталонные метки заданы при создании примеров. Следовательно, проверялись правила, а не качество метода на независимых данных.
На одних парах рассчитаны TP (верные обнаружения), FP (ложные срабатывания), FN (пропуски), TN (верные отрицания):
Precision = TP / (TP + FP); Recall = TP / (TP + FN). (2)
F1 = 2 × Precision × Recall / (Precision + Recall). (3)
Для воспроизведения нужны Python 3.9+, build_dataset.py, команда python -m unittest test_evaluate.py -v и evaluate.py. Результат сохраняется в metrics.json.
4. Результаты исследования и анализ ошибок
Оба метода обнаружили 16 из 18 противоречий (таблица 2). Для эвристики TP = 16, FP = 12, FN = 2, TN = 10; для структурной проверки TP = 16, FP = 0, FN = 2, TN = 22.
Таблица 2
Результаты проверки 40 синтетических пар
|
Метод |
Точность |
Полнота |
F1 |
|
Эвристика |
0,571 |
0,889 |
0,696 |
|
По полям |
1,000 |
0,889 |
0,941 |
Оба метода обнаружили 16 из 18 конфликтов. У эвристики 12 ложных срабатываний, у структурного метода на данном наборе их нет: буквальное сравнение не различает контексты и переформулировки. Преимущество показано только относительно выбранной эвристики.
Пропуски P36 и P37 обусловлены зависимостями разных полей. Заблокированная учётная запись несовместима с разрешённым входом, а истёкшая сессия — с действительной. Алгоритм сравнения значений одного поля не обнаруживает такие связи: необходимы предметные правила.
5. Ограничения и направления развития
Набор мал и составлен под проверяемые правила; независимой разметки и реальных тестов нет. Нулевое число ложных срабатываний на 22 примерах не гарантирует его в других условиях.
Далее необходимы независимый корпус, межполевые правила, извлечение структуры языковой моделью и сравнение с более сильными методами.
Заключение
Предложена структурная проверка противоречий при совместимых условиях. На 40 синтетических парах получена F1 = 0,941 против 0,696 у буквальной эвристики. Прототип может служить фильтром конфликтующих пар для ручного анализа, но качество полного метода на реальных данных не установлено.
Литература:
- Sapozhnikov A. et al. TestSpark: IntelliJ IDEA’s Ultimate Test Generation Companion // Proceedings of the 46th IEEE/ACM International Conference on Software Engineering: Companion Proceedings. 2024. P. 30–34. DOI: 10.1145/3639478.3640024.
- Tasarsu M., Tokmak A. V., Catal C. Test case generation using large language models: a systematic literature review // Cluster Computing. 2026. Vol. 29. Art. 227. DOI: 10.1007/s10586–026–06021-z.
- Gärtner A. E., Göhlich D. Automated requirement contradiction detection through formal logic and LLMs // Automated Software Engineering. 2024. Vol. 31. Art. 49. DOI: 10.1007/s10515–024–00452-x.
- Schäfer M., Nadi S., Eghbali A., Tip F. An Empirical Evaluation of Using Large Language Models for Automated Unit Test Generation // IEEE Transactions on Software Engineering. 2024. Vol. 50, No. 1. P. 85–105. DOI: 10.1109/TSE.2023.3334955.
- Ouédraogo W. A. M. C. et al. LLMs and Prompting for Unit Test Generation: A Large-Scale Evaluation // Proceedings of the 39th IEEE/ACM International Conference on Automated Software Engineering (ASE). 2024. DOI: 10.1145/3691620.3695330.

