nis2/grading.md

# Оценивание

В курсе три формальных элемента контроля:

| Элемент | Вес |
|---|---:|
| Первое ролевое выступление `Р1` | 15% |
| Второе ролевое выступление `Р2` | 15% |
| Проектный экзамен `Экз` | 70% |

Проектный экзамен объединяет оценивание итоговых материалов проекта `ПР` и защиту `ЗП`. Балл `ПР` выставляется в конце курса по результатам проекта и свидетельствам работы в течение курса. Блокирующих элементов нет. Итог определяется общей формулой, правилами об индивидуальном участии и понимании, минимальном экспериментальном результате и дополнительными условиями для 9–10.

## Обозначения

В формулах используются краткие русские обозначения. Цифры в `Р1` и `Р2` обозначают первое и второе выступления.

| Обозначение | Значение |
|---|---|
| `Р1`, `Р2` | Ролевые выступления |
| `Р` | Сумма оценок за два ролевых выступления |
| `Экз` | Проектный экзамен |
| `ПР` | Работа над проектом |
| `ЗП` | Защита проекта |
| `КР` | Командный результат |
| `КТ` | Контрольные точки |
| `ТР` | Технический результат |
| `Э` | Эксперимент и выводы |
| `ВО` | Воспроизводимость и отчёт |
| `ИР` | Индивидуальная работа |
| `Д` | Командный доклад |
| `ПП` | Понимание проекта |
| `Б` | Базовая оценка до округления |
| `Бокр` | Базовая оценка после округления |

## Ролевые выступления

Каждое выступление получает целое число `Р1` или `Р2` от 0 до 10 как сумму [пяти критериев](seminars.md#оценивание-выступления) по 0–2 балла:

```text
Р = Р1 + Р2
```

Первичные баллы по критериям и компонентам используются в расчёте. Удовлетворительной или неудовлетворительной является итоговая десятибалльная оценка по дисциплине после применения общей формулы, округления и ограничений.

## Материалы проекта

Командный результат `КР` складывается из четырёх критериев. Полный результат по `ТР` и `Э` определяется обязательным результатом назначенного проектного задания.

| Критерий | 0 баллов | 1 балл: пригодный, но ограниченный результат | 2 балла: полный результат |
|---|---|---|---|
| `КТ` — контрольные точки | Условие для 1 балла не выполнено. | Как минимум две точки зачтены хотя бы частично, но не все три — полностью. | Все три точки зачтены. |
| `ТР` — технический результат | Проверяемого технического результата нет. | Работает существенная часть обязательного пути, но один центральный механизм, baseline или автоматическая проверка корректности заменены ограниченным вариантом. | Выполнен обязательный технический результат задания, центральные варианты запускаются на сопоставимых входах, корректность проверяется автоматически. |
| `Э` — эксперимент и выводы | Корректного эксперимента и обоснованных выводов нет. | Есть корректное сравнение хотя бы в одном содержательном режиме, но не исследована часть обязательных метрик, режимов или повторов. | Проведены обязательные сравнения и повторы, разобрана вариативность, а выводы следуют из данных и учитывают альтернативные объяснения. |
| `ВО` — воспроизводимость и технический отчёт | Проверяемых материалов недостаточно для воспроизведения и оценки результата. | Результат воспроизводится после ручной подготовки; часть конфигураций, сырых данных или ограничений описана неполно. | Сокращённый запуск воспроизводится по инструкции, полный протокол и сырые данные сохранены, графики перестраиваются автоматически, отчёт ясно отделяет полученное от опубликованного. |

Критерии `КТ`, `ТР` и `ВО` оцениваются по фактически выполненным требованиям каждого из них. Ноль за `Э` не снижает эти оценки: технические проблемы и неполнота материалов учитываются в соответствующих критериях. Корректный отрицательный результат или доказательно разобранное расхождение со статьёй оцениваются по обычной шкале `Э`.

Точка зачтена, если её требования выполнены по существу в установленный срок; частично зачтена, если есть проверяемый содержательный результат, но существенная часть требований отсутствует, либо результат исправлен поздно; не зачтена, если материалов недостаточно для подтверждения содержательного результата этапа. Мелкие редакторские недостатки отражаются в обратной связи и сами по себе не снижают статус.

Документированная блокировка может считаться зачтённой контрольной точкой, если команда представляет воспроизводимую диагностику, предпринятые проверки, анализ причин, влияние на обязательный результат и обновлённый план. Одного сообщения о проблеме недостаточно; блокировка сама по себе не заменяет итоговый эксперимент. Добросовестно проверенная и документированная ошибка задания не снижает статус точки. Требования к результатам и свидетельствам приведены в [описании контрольных точек](project-checkpoints/README.md).

Индивидуальная работа `ИР`:

- `ИР=0`: проверяемого содержательного вклада нет;
- `ИР=1`: есть полезная, но частичная или неустойчивая работа без полной ответственности за согласованную часть;
- `ИР=2`: студент самостоятельно и надёжно выполнил согласованную содержательную часть и включил её в общий результат.

При `ИР=0` студент получает `ПР=0` и `ЗП=0` независимо от результатов команды. Правило применяется индивидуально и не меняет оценки остальных участников.

При `ИР≥1` балл за материалы проекта вычисляется без промежуточного округления:

```text
КР = КТ + ТР + Э + ВО
ПР = 0,75 × КР + 2 × ИР
```

`ИР=2` — полное выполнение обычной командной роли. Оно не требует лидерства или исключительного результата и может быть у всех участников. Число коммитов, строк кода и затраченное время не оцениваются.

Для `ИР` используются карточки ответственности, результаты контрольных точек, код, данные, эксперименты, решения, разделы отчёта, конфиденциальная обратная связь и индивидуальные ответы. Если решение между соседними уровнями пограничное, требуются согласующиеся свидетельства минимум из двух каналов. Объём активности в репозитории сам по себе отдельным каналом не считается. До окончательной фиксации `ИР` и `ПП` студент может указать пропущенное проверяемое свидетельство.

Конфиденциальные опросы дают дополнительную информацию и не образуют автоматических коэффициентов. Пропуск опроса сам по себе не снижает оценку. Ответы и авторство не публикуются дословно.

Промежуточная числовая оценка `ИР` не выставляется. Если свидетельств недостаточно или есть риск `ИР≤1`, преподаватель оставляет адресное предупреждение с ожидаемым проверяемым результатом и сроком. После второго опроса такое предупреждение получают также студенты, для которых пока нет оснований ожидать `ИР=2`. Командную и индивидуальную обратную связь, включая предупреждения, можно размещать в публичных PR/MR; отдельное личное сообщение не требуется. Конфиденциальные ответы и личные обстоятельства публично не раскрываются. Предупреждение не меняет оценку автоматически. Отсутствие предупреждения не гарантирует итоговый уровень `ИР`.

## Защита

Командный доклад `Д` оценивается так:

- `Д=0`: проверяемый командный результат не представлен;
- `Д=1`: постановка и основные результаты представлены, но изложение или обоснование имеют существенные ограничения;
- `Д=2`: постановка, основные результаты, выводы и ограничения представлены ясно, доказательно и с соблюдением времени.

Индивидуальное понимание `ПП`:

- `ПП=0`: студент не может объяснить свои решения и основные результаты;
- `ПП=1`: объясняет собственную часть, но имеет существенные пробелы в понимании общей методики, результатов или ограничений;
- `ПП=2`: самостоятельно объясняет свою работу, основную методику, ключевые результаты и ограничения.

При `ИР≥1` и состоявшейся защите:

```text
ЗП = Д + 4 × ПП
```

`ПП=2` также означает полное обычное понимание проекта и может быть у всех участников.

## Итоговая оценка

```text
Экз = (5 × ПР + 2 × ЗП) / 7
Б = 0,15 × Р1 + 0,15 × Р2 + 0,70 × Экз
```

Эта запись сохраняет веса `ПР` и `ЗП` в итоговой оценке равными 50% и 20%. Промежуточные значения, включая `ПР`, `ЗП` и `Экз`, не округляются. `Б` округляется до ближайшего целого, причём 0,5 округляется вверх; округлённый результат обозначается `Бокр`.

Сначала определяется оценка с учётом расширенной части курса:

- по умолчанию — `min(Бокр, 8)`;
- для **9** нужны `Бокр≥8` и одно из сочетаний: два зачтённых обсуждения тезисов либо проектное достижение и хотя бы одно зачтённое обсуждение;
- для **10** нужны `Бокр≥9`, проектное достижение и два зачтённых обсуждения тезисов.

Выбирается наибольшая оценка, для которой выполнены условия. Повышение относительно `Бокр` составляет максимум один балл: при `Бокр=8` даже проектное достижение и два обсуждения позволяют получить только 9.

Затем применяются ограничения итоговой оценки:

| Условие | Максимальный итог |
|---|---:|
| Неявка на ролевое выступление без своевременного обращения | 7 |
| `ПП=0` | 5 |
| `ИР<2` или `ПП<2` | 7 |
| `Э=0` | 7 |

При сочетании условий действует наиболее строгий предел; оценка ниже предела не повышается. Дополнительные достижения и тезисы не отменяют этих ограничений. Итог ниже 4 означает, что курс не пройден.

Подробные требования к [дополнительному достижению по проекту](project-final.md#дополнительное-достижение) и правила подачи и зачёта [дополнительных тезисов](seminars.md#дополнительные-тезисы) приведены в описаниях соответствующих работ.

Проектное достижение и обсуждения тезисов не дают дополнительных баллов в `ИР`, `ПП` и `Б`. Полное обычное выполнение программы даёт не более 8; оценки 9–10 не ограничены квотой, но требуют проверяемого результата сверх обычной программы.

## Примеры расчёта

- При полном обычном выполнении (`Р1=Р2=10`, `КТ=ТР=Э=ВО=2`, `ИР=ПП=Д=2`) получается `ПР=10`, `ЗП=10`, `Б=10`, а итог без расширенной части равен 8.
- При том же результате два зачтённых обсуждения дают 9; проектное достижение и два обсуждения дают 10.
- Одно пропущенное выступление при втором выступлении на 10 и максимальных проектных баллах даёт `Б=8,5`. При неявке без своевременного обращения итог ограничивается 7; при своевременном обращении применяется обычный порядок расчёта.
- При `ИР=0` значения `ПР` и `ЗП` равны 0. При `ПП=0` итог ограничен 5, при `Э=0` — 7.
- При неявке на защиту `ЗП=0`, а рассчитанный по представленным материалам `ПР` сохраняется.
- Возможна ситуация `Экз≥4` при итоговой оценке ниже 4. Например, при `Р1=Р2=0`, `ПР=4,25` и `ЗП=5` получаем `Экз≈4,46`, `Б=3,125` и итог 3. В ведомость вносится итог 3; первичный балл `Экз` не понижается.

## Пропуск защиты и пересдачи

При неявке на защиту студент получает `ПП=0` и `ЗП=0`, а оценка представленных материалов `ПР` сохраняется. Отсутствие одного участника не снижает `Д` остальных. Уважительность отсутствия и новый срок оформляются через учебный офис.

В экзаменационную ведомость вносится итоговая оценка по дисциплине. Итог ниже 4 образует академическую задолженность, в том числе при первичном балле `Экз≥4`. В этом случае студент пересдаёт проектный экзамен целиком: представляет материалы проекта и проходит индивидуальную защиту. Оценки за `Р1`, `Р2` и исходный `КТ` сохраняются.

На пересдаче можно использовать достаточные исходные материалы без обязательного расширения проекта. При необходимости студент индивидуально исправляет или развивает работу. Если исходный проект объективно недоступен, преподаватель назначает задачу на воспроизведение с сопоставимыми результатами обучения. При `ИР′≥1` без промежуточного округления действуют формулы:

```text
ПР′ = 0,75 × (КТ + ТР′ + Э′ + ВО′) + 2 × ИР′
ЗП′ = Д′ + 4 × ПП′
Экз′ = (5 × ПР′ + 2 × ЗП′) / 7
```

При `ИР′=0` значения `ПР′` и `ЗП′` равны 0. Исходный `ИР=0` не препятствует подтверждению работы на пересдаче. При неявке на защиту выставляются `ПП′=0` и `ЗП′=0`, а представленные материалы оцениваются как `ПР′`.

Первую пересдачу принимает преподаватель, вторую — комиссия не менее чем из трёх преподавателей. После каждой попытки итог рассчитывается заново по общей формуле с сохранёнными `Р1`, `Р2` и `КТ`. Например, при нулевых ролевых выступлениях и `КТ=0` максимально возможны `ПР′=8,5`, `ЗП′=10` и итог 6, поэтому закрыть задолженность можно. Задолженность ликвидирована при итоговой оценке не ниже 4. Положительная итоговая оценка не пересдаётся для повышения. Ограничения итоговой оценки сохраняются при пересдаче; пересдача не заменяет тезисы и достижения, требуемые для 9–10.