Отправьте статью сегодня! Журнал выйдет ..., печатный экземпляр отправим ...
Опубликовать статью

Молодой учёный

Метод обнаружения логических противоречий в тест-кейсах на основе анализа условий и ожидаемых результатов

09.11.2026
9
Поделиться
Аннотация
Предложена проверка противоречий тест-кейсов по условиям, действиям, времени и ожидаемым результатам. На 40 синтетических парах Python-прототип выявил 16 из 18 противоречий без ложных срабатываний (F1 = 0,941 против 0,696 у текстовой эвристики). Оценён только логический модуль; языковая модель не применялась.
Библиографическое описание
Огнева, А. В. Метод обнаружения логических противоречий в тест-кейсах на основе анализа условий и ожидаемых результатов / А. В. Огнева. — Текст : непосредственный // Молодой ученый. — 2026. — № 46 (649). — С. 23-25. — URL: https://moluch.ru/archive/649/142053.


Введение

Генерация тестов языковыми моделями реализована в TestSpark [1] и TestPilot [4]; качество таких тестов исследовано в [2, 5]. Однако отдельные корректно сформулированные сценарии могут иметь несовместимые ожидания.

Формальная проверка противоречий в требованиях рассматривается в [3]. В настоящей работе проверяются пары тест-кейсов с учётом действий, условий, времени и результатов. Вклад состоит в формулировке критерия для этой структуры и пилотной оценке его реализации, а не в создании нового принципа логической выполнимости.

Цель — сформулировать критерий несовместимости и предварительно оценить его реализацию.

1. Постановка задачи и формальная модель

Тест — кортеж Tᵢ = (Dᵢ, Aᵢ, Pᵢ, τᵢ, Eᵢ): функциональная область, действие, предусловия, временной контекст и ожидаемый результат. Условия записываются как пары «поле — значение», время — как интервал.

Противоречие требует совместимости условий и несовместимости ожиданий.

Обозначим Cᵢ формулу контекста, Eᵢ — формулу ожидаемого состояния. Для тестов i и j критерий имеет вид:

SAT(Cᵢ ∧ Cⱼ) = 1; SAT(Cᵢ ∧ Cⱼ ∧ Eᵢ ∧ Eⱼ) = 0. (1)

SAT(F) = 1 означает выполнимость F. Критерий применим к одному моменту наблюдения при детерминированных ожиданиях; допустимые альтернативные исходы не являются противоречием.

Пример: после третьей ошибки входа учётная запись блокируется на 15 минут. Немедленный вход нельзя одновременно разрешить и запретить; по истечении блокировки вход допустим.

Таблица 1

Пример противоречия и допустимого расхождения

Тест

Предусловия и момент проверки

Ожидаемый результат

T1

Три ошибки; непосредственно после блокировки

Вход запрещён

T2

Три ошибки; непосредственно после блокировки

Вход разрешён

T3

Три ошибки; после завершения блокировки

Вход разрешён

2. Реализация структурной проверки

Полная схема предполагает извлечение структуры языковой моделью и логическую проверку. В эксперименте поля подготовлены вручную: оценён только второй этап.

Алгоритм сопоставляет область и действие, общие значения предусловий и пересечение временных интервалов. При совместимых контекстах разные значения одного поля результата означают противоречие. Отсутствующий ключ ограничений не накладывает.

Это частный случай критерия (1), без SAT-решателя и межполевых зависимостей.

Базовая эвристика требует буквального совпадения области, действия и условий; различный текст результата трактуется как конфликт. Она иллюстрирует пользу структурирования, но не представляет сильный современный метод сравнения.

3. Организация предварительного эксперимента

Подготовлены 40 синтетических пар: 18 противоречивых и 22 непротиворечивые. Охвачены вход, регистрация, восстановление пароля, профиль, заказ и сессии; варьируются роли, время и формулировки.

Поля и эталонные метки заданы при создании примеров. Следовательно, проверялись правила, а не качество метода на независимых данных.

На одних парах рассчитаны TP (верные обнаружения), FP (ложные срабатывания), FN (пропуски), TN (верные отрицания):

Precision = TP / (TP + FP); Recall = TP / (TP + FN). (2)

F1 = 2 × Precision × Recall / (Precision + Recall). (3)

Для воспроизведения нужны Python 3.9+, build_dataset.py, команда python -m unittest test_evaluate.py -v и evaluate.py. Результат сохраняется в metrics.json.

4. Результаты исследования и анализ ошибок

Оба метода обнаружили 16 из 18 противоречий (таблица 2). Для эвристики TP = 16, FP = 12, FN = 2, TN = 10; для структурной проверки TP = 16, FP = 0, FN = 2, TN = 22.

Таблица 2

Результаты проверки 40 синтетических пар

Метод

Точность

Полнота

F1

Эвристика

0,571

0,889

0,696

По полям

1,000

0,889

0,941

Оба метода обнаружили 16 из 18 конфликтов. У эвристики 12 ложных срабатываний, у структурного метода на данном наборе их нет: буквальное сравнение не различает контексты и переформулировки. Преимущество показано только относительно выбранной эвристики.

Пропуски P36 и P37 обусловлены зависимостями разных полей. Заблокированная учётная запись несовместима с разрешённым входом, а истёкшая сессия — с действительной. Алгоритм сравнения значений одного поля не обнаруживает такие связи: необходимы предметные правила.

5. Ограничения и направления развития

Набор мал и составлен под проверяемые правила; независимой разметки и реальных тестов нет. Нулевое число ложных срабатываний на 22 примерах не гарантирует его в других условиях.

Далее необходимы независимый корпус, межполевые правила, извлечение структуры языковой моделью и сравнение с более сильными методами.

Заключение

Предложена структурная проверка противоречий при совместимых условиях. На 40 синтетических парах получена F1 = 0,941 против 0,696 у буквальной эвристики. Прототип может служить фильтром конфликтующих пар для ручного анализа, но качество полного метода на реальных данных не установлено.

Литература:

  1. Sapozhnikov A. et al. TestSpark: IntelliJ IDEA’s Ultimate Test Generation Companion // Proceedings of the 46th IEEE/ACM International Conference on Software Engineering: Companion Proceedings. 2024. P. 30–34. DOI: 10.1145/3639478.3640024.
  2. Tasarsu M., Tokmak A. V., Catal C. Test case generation using large language models: a systematic literature review // Cluster Computing. 2026. Vol. 29. Art. 227. DOI: 10.1007/s10586–026–06021-z.
  3. Gärtner A. E., Göhlich D. Automated requirement contradiction detection through formal logic and LLMs // Automated Software Engineering. 2024. Vol. 31. Art. 49. DOI: 10.1007/s10515–024–00452-x.
  4. Schäfer M., Nadi S., Eghbali A., Tip F. An Empirical Evaluation of Using Large Language Models for Automated Unit Test Generation // IEEE Transactions on Software Engineering. 2024. Vol. 50, No. 1. P. 85–105. DOI: 10.1109/TSE.2023.3334955.
  5. Ouédraogo W. A. M. C. et al. LLMs and Prompting for Unit Test Generation: A Large-Scale Evaluation // Proceedings of the 39th IEEE/ACM International Conference on Automated Software Engineering (ASE). 2024. DOI: 10.1145/3691620.3695330.
Можно быстро и просто опубликовать свою научную статью в журнале «Молодой Ученый». Сразу предоставляем препринт и справку о публикации.
Опубликовать статью
Молодой учёный №46 (649) ноябрь 2026 г.
Скачать часть журнала с этой статьей(стр. 23-25):
Часть 1 (стр. 1-71)
Расположение в файле:
стр. 1стр. 23-25стр. 71
Похожие статьи
Проектирование концептуальной архитектуры и сценариев взаимодействия в системах интеграционного тестирования
Проектирование и автоматизированная верификация структуры данных при интеграционном тестировании распределенных систем
Автоматизация процесса тестирования программного обеспечения при использовании тестирования условий
Сравнительный анализ методов верификации программного обеспечения в распределенных микросервисных системах
Сценарное автоматизированное тестирование аутентификации веб-приложения с помощью Selenium WebDriver
Развитие процесса автоматизации тестирования веб-приложений на основе машинного обучения
Автоматизация тестирования: алгоритмический ракурс
Особенности кроссбраузерного/кроссплатформенного тестирования
Исследование стратегий тестирования программного обеспечения
Особенности тестирования программного обеспечения с использованием диаграмм причин — следствий

Молодой учёный