PyJudge.Check
Собственно проверялка. Позволяет запустить один комплект собственных и удалённых тестов на одном решении и генерировать отчёт о прохождении этих тестов. Проверялка должна работать в двух вариантах: дома у любого пользователя (в этом случае придётся пользоваться доставкой как минимум удалённых тестов) и в составе системы массовой проверки под управлением подсистемы изолированного запуска.
На входе
- Запускаемая программа (или каталог, в котором лежит тестируемый модуль)
- каталог с тестами
- (возможно: каталоги с кешом удалённых тестов)
На выходе
- Список результатов тестирования по каждой группе тестов
ID группы тестов (собственные, удалённые), средний балл тестирования в процентах, классификация ошибки
- Протокол тестирования (stderr и exit status) по каждому тесту