# План эксперимента ## Проверяемый вопрос [Какой результат или утверждение статьи проверяется.] ## Сравниваемые варианты и baseline [Какой baseline из задания вы используете и чем сравниваемые варианты отличаются друг от друга. Что будет одинаковым в их запусках: входные данные, доступные ресурсы и остальные условия сравнения.] ## Данные или нагрузки [Источники, подготовка, размеры и правила формирования выборок.] ## Конфигурации и план запусков [Среда, версии и ресурсы. Какие параметры остаются постоянными, какие меняются и какие сочетания значений вы проверите. Укажите число повторов и порядок запусков. Если настройки зависят от пробных запусков, опишите, как и когда вы их выберете.] ## Метрики [Определение, единицы измерения и способ сбора каждой метрики.] ## Проверка корректности [Как вы будете проверять правильность работы реализации: тесты, инварианты, сравнение с эталоном. Для модели опишите, как проверите соответствие моделируемой системе.] ## Обработка и анализ [Как обработаете данные, обобщите результаты повторов и покажете их разброс. Какие таблицы или графики построите и как по ним ответите на проверяемый вопрос. Команды обработки добавляйте по мере реализации.]