2.4 KiB
2.4 KiB
17. MegaScale: Scaling Large Language Model Training to More Than 10,000 GPUs
К списку семинаров · Общие правила · Расписание
- Дата: 9 марта 2027 года, 18:10
- Статья: MegaScale: Scaling Large Language Model Training to More Than 10,000 GPUs
- Центральный вопрос: какие системные механизмы делают обучение больших моделей эффективным и устойчивым на более чем десяти тысячах GPU?
Участники
| Роль | Участник |
|---|---|
| Автор 1 | Ван Петр |
| Автор 2 | Горбунов Александр |
| Автор 3 | Кузьмин Василий |
| Рецензент | Бельский Артём |
| Археолог 1 | Галимов Денис |
| Археолог 2 | Елисеев Владислав |
| Исследователь | Шевляков Фёдор |
| Практик | Мышак Роман |
Маршрут чтения и акценты
По умолчанию основной текст читается полностью. Следует связать параллелизм, коммуникации, планирование и обработку отказов с измеренной эффективностью, затем отделить общие принципы от решений, доступных только оператору инфраструктуры такого масштаба.
Дополнительное чтение к подготовке: пока не назначено.
Выбранные дополнительные тезисы
| После блока | Автор тезиса | Формулировка |
|---|---|---|
| — | — | — |
После семинара
- Запись: —
- Источники из обсуждения: —
- Содержательные уточнения: —
Оценка статьи студентами
- Ответов: —; из них участников с ролями: —
- Полезность: — из 5
- Сложность среди участников с ролями: — из 5
- Оставить в программе: — из — ответов «да» или «скорее да»