PyJudge.Score
Система оценки. Получает полную статистику от системы массового тестирования, применяет формулы оценивания (в идеале нужен интерфейс, чтобы преподаватель мог при необходимости вводить эти формулы), формирует отчёт для системы публикации. Должна уметь показывать отчёты в человекочитаемом виде, в том числе отчёты по «срезу» (как минимум, по конкретному пользователю).
Предполагается, что после чтения результатов тестирования они лежат в трёхмерном массиве (Пользователь × Задача × Тест), или, что то же самое, каждому Пользователю соответствует таблица результатов (Задача × Тест).
Формул оценивания две:
- Промежуточная оценка каждой задачи (для всех одинаковая). Выставляется для каждой строки такой таблицы, измеряется в процентах.
- Финальная оценка. Вычисляется из набора промежуточных оценок, одна для каждого пользователя, может быть строковой («ОТЛ / ХОР / УДОВЛ / НЕУД / Н.Я.») ил иной.
Формула — это функция на Python, которая пользуется API PyJudge.Score. обк такие функции забиваются хардкодом (например, в специальный модуль .score.criterion, чтобы не интерферировать с разработкой), пишет их преподаватель. API должен предоставлять возможность узнать ID задачи (для тонкой настройки).
На входе
- Промежуточная и финальная Формулы оценки
- Человекочитаемые варианты ID пользователей и (возможно) ID задач
- (для локального запуска) спецификация среза
- ID пользователя
- ID задачи
На выходе
- Человекочитаемая статистика по конкретному пользователю
- Список (задача, промежуточная оценка) и финальная оценка
- Человекочитаемая статистика по конкретному пользователю и конкретной задаче
- Список (тест/тип, результат/статус) и промежуточная оценка за задачу
Нечеловеческая статистика для системы публикации
- Дерево:
- Пользователь
- Человекочитаемый ID пользователя
- Задача
- Человекочитаемый ID задачи
- Тест/тип, результат/статус
- … Тест/тип, результат/статус …
- Промежуточная оценка
- … Задача …
- …
- Финальная оценка
- Пользователь
- Дерево: