Arhn - архитектура программирования

Как записать историю испытаний с помощью TestNg?

У меня есть набор тестов API на основе Java, которые я запускаю из Intellij IDEA. Некоторые тесты обычно терпят неудачу по одной и той же причине при каждом запуске теста. Некоторые тесты реже проваливаются. Я хочу запустить все тесты как минимум сто раз, чтобы выяснить, какие тесты провалились и каковы уникальные причины провала каждого неудачного теста.

Вот пример отчета, который я хочу сделать для себя. Для каждого неудачного теста есть одна строка. Текст перед каждым двоеточием на самом деле является именем столбца.

failingTest: myTest, failureReason: Ожидалось 200, но получено 304, timesOccurred: 25/100, stackTrace: text.

failingTest: myTest, failureReason: 404 не найдено, timesOccurred: 5/100, stackTrace: текст.

Итак, из вышеизложенного мы видим, что myTest провалился в общей сложности 30/100 раз. Как проще всего составить такой отчет?

Спасибо.

java testng
30.05.2018

Ответы:


1

Самый простой способ сделать это — создать собственный генератор отчетов, внедрив org.testng.IReporter, который поддерживается базой данных, в которую вы добавляете результаты теста.

Если результат теста для определенного метода уже существует, обновите его счетчик выполнения, а также его счетчик пройден/не пройден на основе результатов теста для каждой уникальной причины сбоя.

31.05.2018
  • Могу ли я вместо этого использовать что-то вроде Дженкинса? Я не уверен, что он предоставляет всю необходимую мне статистику без дополнительной работы. 21.03.2020
    • Новые материалы
    Коллекции публикаций по глубокому обучению
    Последние пару месяцев я создавал коллекции последних академических публикаций по различным подполям глубокого обучения в моем блоге https://amundtveit.com - эта публикация дает обзор 25..
    Представляем: Pepita
    Фреймворк JavaScript с открытым исходным кодом Я знаю, что недостатка в фреймворках JavaScript нет. Но я просто не мог остановиться. Я хотел написать что-то сам, со своими собственными..
    Советы по коду Laravel #2
    1-) Найти // You can specify the columns you need // in when you use the find method on a model User::find(‘id’, [‘email’,’name’]); // You can increment or decrement // a field in..
    Работа с временными рядами спутниковых изображений, часть 3 (аналитика данных)
    Анализ временных рядов спутниковых изображений для данных наблюдений за большой Землей (arXiv) Автор: Рольф Симоэс , Жильберто Камара , Жильберто Кейрос , Фелипе Соуза , Педро Р. Андраде ,..
    3 способа решить квадратное уравнение (3-й мой любимый) -
    1. Методом факторизации — 2. Используя квадратичную формулу — 3. Заполнив квадрат — Давайте поймем это, решив это простое уравнение: Мы пытаемся сделать LHS,..
    Создание VR-миров с A-Frame
    Виртуальная реальность (и дополненная реальность) стали главными модными терминами в образовательных технологиях. С недорогими VR-гарнитурами, такими как Google Cardboard , и использованием..
    Демистификация рекурсии
    КОДЕКС Демистификация рекурсии Упрощенная концепция ошеломляющей О чем весь этот шум? Рекурсия, кажется, единственная тема, от которой у каждого начинающего студента-информатика..