seminars/17-2027-03-09-megascale.md

# 17. MegaScale: Scaling Large Language Model Training to More Than 10,000 GPUs

[К списку семинаров](README.md) · [Общие правила](../seminars.md) · [Расписание](../schedule.md)

- **Дата:** 9 марта 2027 года, 18:10
- **Статья:** [MegaScale: Scaling Large Language Model Training to More Than 10,000 GPUs](https://www.usenix.org/system/files/nsdi24-jiang-ziheng.pdf)
- **Центральный вопрос:** какие системные механизмы делают обучение больших моделей эффективным и устойчивым на более чем десяти тысячах GPU?

## Участники

| Роль | Участник |
|---|---|
| Автор 1 | Ван Петр |
| Автор 2 | Горбунов Александр |
| Автор 3 | Кузьмин Василий |
| Рецензент | Бельский Артём |
| Археолог 1 | Галимов Денис |
| Археолог 2 | Елисеев Владислав |
| Исследователь | Шевляков Фёдор |
| Практик | Мышак Роман |

## Маршрут чтения и акценты

По умолчанию основной текст читается полностью. Следует связать параллелизм, коммуникации, планирование и обработку отказов с измеренной эффективностью, затем отделить общие принципы от решений, доступных только оператору инфраструктуры такого масштаба.

## Выбранные дополнительные тезисы

| После блока | Автор тезиса | Формулировка |
|---|---|---|
| — | — | — |