2.1 KiB
План эксперимента
Проверяемый вопрос
[Какой результат или утверждение статьи проверяется.]
Сравниваемые варианты и baseline
[Какой baseline из задания вы используете и чем сравниваемые варианты отличаются друг от друга. Что будет одинаковым в их запусках: входные данные, доступные ресурсы и остальные условия сравнения.]
Данные или нагрузки
[Источники, подготовка, размеры и правила формирования выборок.]
Конфигурации и план запусков
[Среда, версии и ресурсы. Какие параметры остаются постоянными, какие меняются и какие сочетания значений вы проверите. Укажите число повторов и порядок запусков. Если настройки зависят от пробных запусков, опишите, как и когда вы их выберете.]
Метрики
[Определение, единицы измерения и способ сбора каждой метрики.]
Проверка корректности
[Как вы будете проверять правильность работы реализации: тесты, инварианты, сравнение с эталоном. Для модели опишите, как проверите соответствие моделируемой системе.]
Обработка и анализ
[Как обработаете данные, обобщите результаты повторов и покажете их разброс. Какие таблицы или графики построите и как по ним ответите на проверяемый вопрос. Команды обработки добавляйте по мере реализации.]