Publish team projects. Improve project checkpoint and task description.
This commit is contained in:
+5
-5
@@ -64,22 +64,22 @@
|
||||
- воспроизводимый репозиторий и полный протокол основных серий;
|
||||
- технический отчёт и презентация.
|
||||
|
||||
Сравниваемые варианты запускаются на одинаковых входах или на одинаково сформированных выборках. Для недетерминированных измерений выполняется не менее трёх повторов, если проектное задание явно не требует большего числа.
|
||||
Baseline — вариант, с которым сравнивается исследуемый метод; он указан в задании. Сравниваемые варианты запускаются на одинаковых входах или на одинаково сформированных выборках. Если результат измерения может меняться от запуска к запуску, для каждого варианта и набора параметров выполните не менее трёх повторов, если задание явно не требует большего числа. Например, это относится к измерению времени работы.
|
||||
|
||||
Корректный отрицательный результат или расхождение со статьёй могут быть полноценным итогом, если эксперимент корректен, данные пригодны для анализа, а причины разобраны по свидетельствам. Техническая блокировка без корректного эксперимента итоговым результатом не считается.
|
||||
|
||||
## Технический путь проекта
|
||||
|
||||
Проверяется утверждение или метод статьи, поэтому опубликованный программный артефакт не обязан быть основой реализации. Проектное задание может предусматривать один или несколько равноправных путей:
|
||||
Проект проверяет утверждение или метод статьи. Опубликованный код служит одним из возможных исходных материалов. Карточка задания может предусматривать один или несколько технических путей:
|
||||
|
||||
- восстановить, адаптировать или модифицировать авторский артефакт;
|
||||
- самостоятельно реализовать центральный механизм в объёме, достаточном для проверки;
|
||||
- построить собственный симулятор или модель существенного механизма;
|
||||
- сочетать реальный прототип с имитацией для более широких экспериментальных серий.
|
||||
|
||||
Допустимые пути указаны в конкретном проектном задании. Если их несколько, команда выбирает путь самостоятельно и фиксирует выбор к первой контрольной точке. Переход к пути, которого нет в задании, оформляется как его уточнение: команда показывает технические основания, после чего преподаватель выпускает новую версию задания.
|
||||
Что именно должна сделать команда, описано в полях «Технический результат» и «Обязательное приращение команды». Если карточка предлагает несколько вариантов, команда выбирает один и записывает его в `nis/project.md` к первой контрольной точке. Чтобы выбрать путь, которого нет в карточке, команда обосновывает его, после чего преподаватель обновляет карточку задания.
|
||||
|
||||
Самостоятельная реализация должна явно отделять сохранённые свойства метода от упрощений и иметь автоматическую проверку корректности. Для симулятора нужно описать допущения, проверить его на аналитических примерах, опубликованных данных или доступной реализации и ограничить выводы областью применимости модели. При любом пути сохраняются заданные проверяемый вопрос, baseline, основные показатели и требования к анализу.
|
||||
При самостоятельной реализации команда указывает, какие свойства метода сохранены, какие упрощены и как автоматически проверяется корректность. Для симулятора нужно описать допущения и проверить его по аналитическим примерам, опубликованным данным или доступной реализации. Выводы должны учитывать границы модели. Во всех случаях сохраняются проверяемый вопрос, baseline, основные показатели и требования к анализу из карточки задания.
|
||||
|
||||
## Что предстоит делать, если код уже опубликован?
|
||||
|
||||
@@ -109,7 +109,7 @@
|
||||
- зафиксированные версии кода, данных, зависимостей и параметров;
|
||||
- автоматизированную настройку или точную инструкцию;
|
||||
- сокращённый сквозной запуск на обычной машине;
|
||||
- полный протокол основных серий, сырые и обработанные данные;
|
||||
- полный протокол основных серий: команды, параметры и исходные измерения каждого запуска, а также результаты их обработки;
|
||||
- сценарий, который перестраивает итоговые таблицы и графики.
|
||||
|
||||
Если в обязательный план входят GPU-эксперименты, преподавателю достаточно обеспечить выборочный повторный запуск; полное повторение всех дорогих серий не требуется.
|
||||
|
||||
Reference in New Issue
Block a user