nis2/project-repository-template/nis/experiment-plan.md

# План эксперимента

## Проверяемый вопрос

[Какой результат или утверждение статьи проверяется.]

## Сравниваемые варианты и baseline

[Какой baseline из задания вы используете и чем сравниваемые варианты отличаются друг от друга. Что будет одинаковым в их запусках: входные данные, доступные ресурсы и остальные условия сравнения.]

## Данные или нагрузки

[Источники, подготовка, размеры и правила формирования выборок.]

## Конфигурации и план запусков

[Среда, версии и ресурсы. Какие параметры остаются постоянными, какие меняются и какие сочетания значений вы проверите. Укажите число повторов и порядок запусков. Если настройки зависят от пробных запусков, опишите, как и когда вы их выберете.]

## Метрики

[Определение, единицы измерения и способ сбора каждой метрики.]

## Проверка корректности

[Как вы будете проверять правильность работы реализации: тесты, инварианты, сравнение с эталоном. Для модели опишите, как проверите соответствие моделируемой системе.]

## Обработка и анализ

[Как обработаете данные, обобщите результаты повторов и покажете их разброс. Какие таблицы или графики построите и как по ним ответите на проверяемый вопрос. Команды обработки добавляйте по мере реализации.]