Как модульно протестировать преднамеренные ошибки компиляции кода шаблона

Делайте это так же, как пишутся тесты компилятора. У вас будет немного тестового кода на каком-то языке сценариев (shell, perl, tcl и т. д.), который запустит компилятор на заданных фрагментах кода и проверит, скомпилировались ли правильные, а правильные нет.

• gcc использует DejaGnu, созданный поверх expect, который сам построен на основе Tcl.
• Если вы используете сценарий оболочки (вероятно, проще, DejaGnu, вероятно, излишен), вы можете взглянуть на shUnit2 .
• Система Perl Test::Harness должна быть простой в использовании как есть.
• В конце концов, запустить процесс из C++ не так уж и сложно, поэтому написать функцию, которая попытается вызвать компилятор для заданной строки и проверить, выводит ли он ошибку для строки, где вы ожидаете, это будет не так сложно, и чем вы можете интегрировать его в другие тесты на основе boost.test.

Тестирование на negative feature, следовательно, гарантия того, что определенная конструкция не сможет скомпилироваться, возможно с использованием выражений c++20 requires следующим образом:

Простой пример

Ниже я проверяю, существуют ли перегрузки функции func в статических утверждениях, при использовании с тестовой средой логическое значение должно использоваться в одном из тестов времени выполнения, чтобы не блокировать компиляцию других тестов:

#include <concepts>
/// Arbitrary restrictions in order to test:
/// if T != double -> zero args
template <typename T> void func(){};
/// if T == double -> arbitrary args.
template<std::same_as<double> ...T> void func(T... as){};
template <typename T, typename... a> constexpr bool applies_to_func = requires(a... as) {
  func<T>(as...);
};
/// compiles:
static_assert(applies_to_func<int>);
static_assert(applies_to_func<double, double>);
static_assert(applies_to_func<double, double, double>);
/// function fails to compile:
static_assert(!applies_to_func<int, int>);

Код доступен в Compiler Explorer: https://godbolt.org/z/direWo.

C++17

Недавно я попытался сделать нечто подобное для проекта, в котором я могу использовать только С++ 17. В моем коде я также проверяю, соответствует ли возвращаемый тип функции ожиданиям вызывающей стороны. Помимо некоторых ограничений, касающихся нетиповых параметров шаблона, можно добиться аналогичного результата, как показано ниже. В этом случае я не мог использовать double в качестве входных данных для перегрузки из-за неявного преобразования, applies_to_func(void, int, int) будет оцениваться как true в приведенном ниже фрагменте кода.

#include <utility>
#include <string>

/// Create compile-time tests that allow checking a specific function's type  
#define COMPILE_TIME_TEST(func) COMPILE_TIME_TEST_FUNCTION(func, func)
#define COMPILE_TIME_TEST_FUNCTION(name, func)                                                              \
namespace detail {                                                                                          \
  template<typename R, auto... args> struct name ## FromArgs:std::false_type{};                             \
  template<auto... args> struct name ## FromArgs<decltype(func(args...)), args...> : std::true_type{};      \
  template<typename R, typename... Args> struct name ## FromType:std::false_type{};                         \
  template<typename... Args> struct name ## FromType<decltype(func(std::declval<Args>()...)), Args...> : std::true_type{};\
}                                                                                                           \
template<typename R, auto ...Args>                                                                          \
static constexpr auto name ## _compiles = detail::name ## FromArgs<R, Args...>::value;                      \
template<typename ...Args> \
static constexpr auto name ## _compiles_from_type = detail::name ## FromType<Args...>::value;\

int func();
template <typename T> void func(T);
void func(double);
void func(double, double );
void func(double, double, double);

// create the structs from above macros for the function `func`
COMPILE_TIME_TEST(func);

static_assert(!func_compiles<void>);
static_assert(func_compiles<int>);
static_assert(func_compiles_from_type<void, double, double>);
static_assert(!func_compiles_from_type<void, double, double, double, double>);

static_assert(func_compiles<void, 1>);
static_assert(!func_compiles<void, 1, nullptr>);

Вам придется полагаться на внешнюю структуру для запуска набора тестов компиляции, например. makefiles или задания hudson и проверьте вывод компилятора или артефакты компилятора. Если предполагается, что компиляция завершится ошибкой, то для компилируемого файла не должно быть объектного файла. Я предполагаю, что вы могли бы написать плагин для hudson, чтобы сделать это, или простой пакетный скрипт, который запускает make-файл, который компилирует все тестовые файлы, которые должны завершиться неудачей или успехом, и соответствующим образом отметить успехи или неудачи.

В простейшем случае вы просто проверяете наличие файла '.o', чтобы увидеть, был ли ваш тест успешным, в более сложных случаях вы можете посмотреть на вывод компилятора и убедиться, что ошибка, которая возникает, совпадает с ошибкой что вы ожидаете. Это будет зависеть от компилятора, который вы используете.

Переход на один уровень глубже, вероятно, будет означать написание расширения компилятора для этого (LLVM может справиться с тем, что вы просите)

Возможно, вы захотите ознакомиться с metatest — платформа модульного тестирования для шаблонных метапрограмм C++< /a> (исходное сообщение автора в списке рассылки Boost ). Получите его здесь.
Публикации, связанные с библиотеками здесь.