46 lines
2.3 KiB
Markdown
46 lines
2.3 KiB
Markdown
# 17. MegaScale: Scaling Large Language Model Training to More Than 10,000 GPUs
|
||
|
||
[К списку семинаров](README.md) · [Общие правила](../seminars.md) · [Расписание](../schedule.md)
|
||
|
||
- **Дата:** 9 марта 2027 года, 18:10
|
||
- **Статья:** [MegaScale: Scaling Large Language Model Training to More Than 10,000 GPUs](https://www.usenix.org/system/files/nsdi24-jiang-ziheng.pdf)
|
||
- **Центральный вопрос:** какие системные механизмы делают обучение больших моделей эффективным и устойчивым на более чем десяти тысячах GPU?
|
||
|
||
## Участники
|
||
|
||
| Роль | Участник |
|
||
|---|---|
|
||
| Автор 1 | — |
|
||
| Автор 2 | — |
|
||
| Автор 3 | — |
|
||
| Рецензент | — |
|
||
| Археолог 1 | — |
|
||
| Археолог 2 | — |
|
||
| Исследователь | — |
|
||
| Практик | — |
|
||
|
||
## Маршрут чтения и акценты
|
||
|
||
По умолчанию основной текст читается полностью. Следует связать параллелизм, коммуникации, планирование и обработку отказов с измеренной эффективностью, затем отделить общие принципы от решений, доступных только оператору инфраструктуры такого масштаба.
|
||
|
||
**Дополнительное чтение к подготовке:** пока не назначено.
|
||
|
||
## Выбранные дополнительные тезисы
|
||
|
||
| После блока | Автор тезиса | Формулировка |
|
||
|---|---|---|
|
||
| — | — | — |
|
||
|
||
## После семинара
|
||
|
||
- **Запись:** —
|
||
- **Источники из обсуждения:** —
|
||
- **Содержательные уточнения:** —
|
||
|
||
### Оценка статьи студентами
|
||
|
||
- **Ответов:** —; из них участников с ролями: —
|
||
- **Полезность:** — из 5
|
||
- **Сложность среди участников с ролями:** — из 5
|
||
- **Оставить в программе:** — из — ответов «да» или «скорее да»
|