30 lines
2.1 KiB
Markdown
30 lines
2.1 KiB
Markdown
# План эксперимента
|
|
|
|
## Проверяемый вопрос
|
|
|
|
[Какой результат или утверждение статьи проверяется.]
|
|
|
|
## Сравниваемые варианты и baseline
|
|
|
|
[Какой baseline из задания вы используете и чем сравниваемые варианты отличаются друг от друга. Что будет одинаковым в их запусках: входные данные, доступные ресурсы и остальные условия сравнения.]
|
|
|
|
## Данные или нагрузки
|
|
|
|
[Источники, подготовка, размеры и правила формирования выборок.]
|
|
|
|
## Конфигурации и план запусков
|
|
|
|
[Среда, версии и ресурсы. Какие параметры остаются постоянными, какие меняются и какие сочетания значений вы проверите. Укажите число повторов и порядок запусков. Если настройки зависят от пробных запусков, опишите, как и когда вы их выберете.]
|
|
|
|
## Метрики
|
|
|
|
[Определение, единицы измерения и способ сбора каждой метрики.]
|
|
|
|
## Проверка корректности
|
|
|
|
[Как вы будете проверять правильность работы реализации: тесты, инварианты, сравнение с эталоном. Для модели опишите, как проверите соответствие моделируемой системе.]
|
|
|
|
## Обработка и анализ
|
|
|
|
[Как обработаете данные, обобщите результаты повторов и покажете их разброс. Какие таблицы или графики построите и как по ним ответите на проверяемый вопрос. Команды обработки добавляйте по мере реализации.]
|