osukhoroslov
29f3f50a1a
Replace the generic emphasis note with a structured, section-by-section reading order and clarify the central question around strict serializability. Remove the unused "additional reading" placeholder from the remaining seminar files.
31 lines
1.8 KiB
Markdown
31 lines
1.8 KiB
Markdown
# 17. MegaScale: Scaling Large Language Model Training to More Than 10,000 GPUs
|
||
|
||
[К списку семинаров](README.md) · [Общие правила](../seminars.md) · [Расписание](../schedule.md)
|
||
|
||
- **Дата:** 9 марта 2027 года, 18:10
|
||
- **Статья:** [MegaScale: Scaling Large Language Model Training to More Than 10,000 GPUs](https://www.usenix.org/system/files/nsdi24-jiang-ziheng.pdf)
|
||
- **Центральный вопрос:** какие системные механизмы делают обучение больших моделей эффективным и устойчивым на более чем десяти тысячах GPU?
|
||
|
||
## Участники
|
||
|
||
| Роль | Участник |
|
||
|---|---|
|
||
| Автор 1 | Ван Петр |
|
||
| Автор 2 | Горбунов Александр |
|
||
| Автор 3 | Кузьмин Василий |
|
||
| Рецензент | Бельский Артём |
|
||
| Археолог 1 | Галимов Денис |
|
||
| Археолог 2 | Елисеев Владислав |
|
||
| Исследователь | Шевляков Фёдор |
|
||
| Практик | Мышак Роман |
|
||
|
||
## Маршрут чтения и акценты
|
||
|
||
По умолчанию основной текст читается полностью. Следует связать параллелизм, коммуникации, планирование и обработку отказов с измеренной эффективностью, затем отделить общие принципы от решений, доступных только оператору инфраструктуры такого масштаба.
|
||
|
||
## Выбранные дополнительные тезисы
|
||
|
||
| После блока | Автор тезиса | Формулировка |
|
||
|---|---|---|
|
||
| — | — | — |
|