26 KiB
Распределенное key-value хранилище с репликацией
В этом задании вам предстоит усовершенствовать key-value хранилище из предыдущего ДЗ, обеспечив отказоустойчивое хранение данных путем их репликации. Теперь каждая запись должна храниться не на одном узле, а на трех. Если все три реплики уже сохранили запись, она переживёт отказ любых двух узлов. При этом остается шардинг данных, то есть в системе из 6 узлов каждый будет хранить примерно половину данных. Чтобы не создавать зависимость от предыдущего ДЗ, будем использовать простейший (и не самый эффективный) способ шардинга данных и обойдемся без перебалансировки шардов. Тем самым, сконцентрируемся теперь на репликации данных и связанных с ней проблемах.
Пусть в нашей системе есть N узлов с идентификаторами [0, N). Тогда за хранение ключа K будет отвечать узел с идентификатором P = hash(K) mod N. Так как мы хотим реплицировать данные на трех узлах, то добавим к этому узлу еще два узла, следующие за ним в порядке их идентификаторов. Например, если N=6 и для некоторого ключа P=4, то за хранение этого ключа будут отвечать узлы {4, 5, 0}. Далее будем называть эти узлы и хранимые ими копии данных репликами. В исправной сети после завершения репликации запись должна оставаться только на этих трёх узлах, даже если запрос принял другой узел.
Для реализации репликации будем использовать подход без лидера, описанный в статье про Amazon Dynamo. Операции на чтение (GET) и запись (PUT, DELETE) выполняются с кворумами, размеры которых указывает клиент при отправке операции. Клиент может отправить локальный запрос любому узлу. Узел, принявший запрос, называется координатором этого запроса. Он рассылает операцию по репликам и возвращает результат клиенту, когда собран кворум. В кворуме учитываются разные узлы: повторные ответы одного узла не увеличивают кворум, даже если он заменяет несколько основных реплик.
Мы хотим сделать наше хранилище высокодоступным и уметь успешно обрабатывать запросы в присутствии отказов узлов и сети. Если доступных основных реплик не хватает для кворума, координатор использует другие доступные узлы как резервные реплики. В Dynamo такой подход называется sloppy quorum. В нашем хранилище координатор выбирает резервные узлы по кольцу, начиная с узла, следующего за последней основной репликой. Например, пусть основные реплики ключа - узлы {2, 3, 4}, а для операции нужен кворум из трёх узлов. Если одна из реплик недоступна, координатор обращается к узлу 5. Если он тоже недоступен, обход продолжается по возрастанию числовых идентификаторов. После последнего узла следует узел 0.
Если при PUT или DELETE резервная реплика замещает недоступную основную, она временно хранит изменение. Когда связь восстанавливается, резервная реплика передаёт изменение основной, даже если клиент больше не обращается к ключу. Такая передача называется hinted handoff. После успешной передачи всем основным репликам, которые она замещала для этого ключа, резервная реплика удаляет временную копию. Ключи, для которых этот узел сам служит основной репликой, остаются на нём.
Узлы и сеть могут отказывать во время обработки запросов. Обнаруживать отказы можно с помощью таймаутов. Для простоты будем считать, что отказы временные, и в случае обнаружения отказа не требуется делать перебалансировку шардов или переназначать реплики между узлами. Кроме того, вашей реализации не требуется поддерживать добавление и удаление узлов из системы, в тестах состав узлов фиксирован.
В силу описанного подхода, операции записи в нашей системе могут возвращать клиенту успех до того, как изменения достигнут всех реплик, а чтение может возвращать устаревшее значение. При этом система должна обеспечивать согласованность в конечном счёте (eventual consistency) - изменения должны рано или поздно оказаться на всех живых репликах. Для этого реализуйте hinted handoff и read repair. Фоновая синхронизация реплик (anti-entropy) - по желанию.
При GET координатор может получить от реплик разные версии одного ключа. Тогда он выбирает актуальную версию по правилам ниже и передаёт её отставшим репликам. Такое восстановление по результатам чтения называется read repair. Клиент получает ответ, как только собран кворум. Если более свежая версия пришла позже, координатор учитывает её при восстановлении. В направлении A проверяется восстановление основных реплик по позднему ответу, а в направлении C - восстановление данных на резервных репликах и их последующая передача основным через hinted handoff.
Из-за отказов и конкурентных операций записи на разных репликах могут оказаться разные версии одного ключа. При записи и чтении разрешайте такие конфликты автоматически по правилу last write wins (LWW). Из двух версий с разными метками времени выбирайте более позднюю. Метка времени операции PUT или DELETE - значение ctx.time() в момент получения локального запроса. Сохраняйте эту метку при репликации, read repair и hinted handoff.
При одинаковом времени PUT побеждает DELETE, а из нескольких PUT выбирается лексикографически большее значение. Это правило относится и к пустой строке "": она считается сохранённым значением и отличается от отсутствия записи (null). Две операции DELETE с одинаковым временем равнозначны. Применяйте эти правила при обработке операций, чтении и синхронизации реплик.
Чтобы при синхронизации не восстановить старое значение, при удалении ключа реплики сохраняют маркер удаления - запись о том, какой ключ удалён и в какой момент. Допустим, реплика пропустила DELETE в момент 20 и вернулась в сеть со значением "abc", записанным в момент 10. Получив маркер, она сравнит метки времени 20 и 10, увидит, что удаление произошло позже записи, и заменит "abc" маркером.
Чтобы метки времени отражали порядок записей на разных узлах, их часы должны быть синхронизированы. В тестах это условие выполняется, поэтому для определения времени записи можно использовать ctx.time(). Однако даже при синхронизированных часах LWW сохраняет только одну из конкурирующих версий ключа, поэтому изменения другого клиента могут потеряться. Мы устраним эти ограничения в следующем задании (Внимание! Следующее ДЗ будет требовать наличия готового решения текущего задания).
Если вам плохо понятны некоторые требования, изучите соответствующие тесты - это часть условия задания.
Реализация
Для реализации и тестирования решения используется фреймворк AnySystem (см. материалы первого семинара). В папке solution размещена заготовка для решения node.py. Вам надо доработать реализацию класса StorageNode так, чтобы проходили тесты выбранного уровня.
При инициализации узлу передается его уникальный id, а также список id всех узлов в системе.
Узел должен поддерживать обработку следующих локальных сообщений (форматы запросов и ответов описаны в заготовке):
- GET(key, quorum) - вернуть значение записи с ключом
keyилиnull, если запись отсутствует, - PUT(key, value, quorum) - сохранить строку
valueпо ключуkey. В ответе верните ключ и значение версии, победившей по LWW среди ответов кворума. Если победил конкурентный DELETE, вернитеnullв полеvalue, - DELETE(key, quorum) - удалить запись с ключом
keyи вернуть значение, которое кворум наблюдал до удаления, илиnull, если ключ отсутствовал.
Для GET, PUT и DELETE клиент указывает размер кворума. Если один узел одновременно принимает два GET одного ключа, клиент должен получить ответ на каждый запрос.
Для проверки размещения данных нужно поддержать локальный запрос COUNT_KEYS {} с ответом COUNT_KEYS_RESP {"count": N}. Он возвращает число различных ключей с сохранёнными на узле значениями, включая временные копии и пустые строки. Маркеры удаления и служебные метаданные не учитываются; один ключ считается один раз. Запрос не должен обращаться к другим узлам или изменять состояние хранилища.
Для вычисления реплик по ключу используйте функцию get_key_replicas() из заготовки (использовать другую функцию не следует, так как это влияет на тесты).
Для взаимодействия между узлами вы можете использовать любые собственные типы сообщений.
Ваши реализации процессов AnySystem должны соблюдать правило изоляции процессов: изменяемое состояние каждого процесса должно храниться только в self, а общая изменяемая память между процессами запрещена. Все взаимодействия между процессами должны происходить через сообщения, как и в реальной распределённой системе.
Тестирование
Локальное тестирование
Тесты находятся в папке tests. Есть два варианта их запуска.
Рекомендуем запускать тесты в готовом Docker-образе. Чтобы проверить решение с теми же параметрами, что и в тестирующей системе, выполните команду из папки задания.
docker run --pull always --rm -t -v ./solution:/solution distsys.ru/course/kv-replication:latest
При обычном запуске тестер выводит название и результат каждого сценария, а в конце - число пройденных тестов и итоговый балл. Чтобы запустить один сценарий и увидеть трассу событий, добавьте в конец команды -t "REPLICAS CHECK" -d. Список всех опций можно посмотреть с помощью -h.
Вы также можете запустить тесты, скомпилировав их локально с помощью компилятора Rust. Такой вариант может быть удобен, если вы хотите лучше изучить или доработать тесты. Скомпилируйте тесты с помощью команды cargo install --locked --path tests. Для запуска тестов выполните команду:
distsys-kv-replication [ЗДЕСЬ МОЖНО УКАЗАТЬ ОПЦИИ]
Тестер сначала проверяет основную часть. Если набраны все 8 баллов, он автоматически запускает три повышенных направления. Чтобы выбрать направления для локального запуска и сдачи на сервер, укажите их латинские буквы через пробел в файле solution/tracks.txt, например A C. Пустой файл оставляет только основную часть. Для локальной проверки есть также флаги --core (только основная часть) и --all (все 44 теста независимо от набранных баллов и выбора направлений).
На весь прогон в Docker отводится 21 минута. Если решение зависнет, по истечении этого времени проверка завершится без итоговой сводки. Последний запущенный тест можно найти по его названию в выводе и повторить отдельно с опцией -t.
Бонусы за пробелы в тестах начисляются по общим правилам.
Проверка в тестирующей системе
Отправьте ваше решение в тестирующую систему следуя инструкции и дождитесь результатов.
Оценивание
За основную часть можно получить до 8 баллов. Баллы трёх блоков складываются независимо. В каждой строке таблицы перечислены пункты по 0,5 балла. Если в пункте два теста, нужно пройти оба.
| Блок | Максимум | Пункты по 0,5 балла |
|---|---|---|
| Базовые операции и размещение | 3 | BASIC · MC BASIC · REPLICAS CHECK · DATA PLACEMENT · CONCURRENT GET PUT и CONCURRENT GETS · DELETE ABSENT |
| Конфликты и восстановление | 2,5 | CONCURRENT WRITES и MC CONCURRENT WRITES · CONCURRENT WRITES TIE · STALE REPLICA и DIVERGED REPLICAS · STALE REPLICA DELETE и READ REPAIR DELETE · CONCURRENT DELETES |
| Кворумы и разделение сети | 2,5 | SLOPPY QUORUM READ и SLOPPY QUORUM WRITE · SLOPPY QUORUM TRICKY · SLOPPY QUORUM DELETE · PARTITION CLIENTS и PARTITION MIXED · HINTED HANDOFF и MC SLOPPY QUORUM HINTED HANDOFF |
Когда пройдены все 23 теста основной части, можно получить 9 баллов за любое одно полностью пройденное направление или 10 баллов за любые два.
| Направление | Ожидаемый результат | Тесты |
|---|---|---|
| A. Конфликты и восстановление нескольких ключей | При одновременных PUT и DELETE одного ключа с одинаковой меткой времени побеждает PUT, в том числе с пустой строкой. Если метка DELETE больше, ответ на PUT зависит от того, успел ли его кворум увидеть удаление. Если более свежая версия обнаружилась уже после ответа на GET, основные реплики в итоге сходятся к этой версии. Обновление или удаление одного ключа сохраняет значения остальных. | CONCURRENT PUT DELETE TIE, READ REPAIR PUT DELETE TIE, READ REPAIR LATE, READ REPAIR TIE, READ REPAIR MULTI KEY, DATA PLACEMENT MULTI KEY |
| B. Кворум при дублях и разделении сети | Недоступные основные реплики замещают первые доступные узлы по числовому порядку кольца. Для ответа клиенту нужен кворум разных узлов даже при дублировании сообщений и участии самого координатора. Например, если все узлы будущего кворума хранят "abc", первый DELETE возвращает "abc" даже при повторной доставке внутренних сообщений. Следующий DELETE без промежуточной записи возвращает null. Пока доступных узлов недостаточно для кворума, запрос остаётся в ожидании. Когда кворум снова достижим, координатор завершает тот же запрос без повторного обращения клиента. |
Тесты с префиксом SLOPPY QUORUM и окончаниями GET DISTINCT, PUT DISTINCT, DELETE DISTINCT, GET ORDER, PUT ORDER, DELETE ORDER, DELETE ORDER PARTITION, DELETE PARTITION |
| C. Восстановление через резервные реплики | Если при GET обнаружилась устаревшая копия на резервной реплике, в итоге на ней оказывается актуальное значение или маркер удаления. После восстановления связи эту версию получают все основные реплики, которые она замещала для данного ключа. Временная копия сохраняется до передачи последнему адресату, затем исчезает. Ключи, для которых этот узел сам служит основной репликой, остаются на нём. | HINTED HANDOFF PUT DELETE TIE, HINTED HANDOFF MULTI KEY, HINTED HANDOFF RETENTION, HINTED HANDOFF LWW, SLOPPY QUORUM READ REPAIR, SLOPPY QUORUM READ REPAIR DELETE, SLOPPY QUORUM READ REPAIR MULTI KEY |
К решению приложите отчёт с описанием реализации в файле solution/readme.md. Без отчёта решение не засчитывается.
Рекомендации
- Репликация в исправной сети. Отправляйте запрос трём основным репликам и отвечайте клиенту, когда собран кворум. Учитывайте каждый клиентский запрос отдельно. На одном узле могут одновременно выполняться два
GETодного ключа. В тестеREPLICAS CHECKпосле записи с кворумом 3 каждая реплика должна вернуть значение, даже когда её отключили от сети. - Разрешение конфликтов. Применяйте одно правило LWW при записи на реплику и при выборе значения из ответов на чтение. В
CONCURRENT WRITES TIEдве записи получают одинаковую метку времени. Проверьте, что в итоге побеждает лексикографически большее значение при любом порядке их доставки. - Read repair. При чтении сравнивайте версии и отправляйте свежую запись отставшим репликам. В
STALE REPLICAодна реплика пропускает запись, возвращается в сеть и после кворумного чтения должна выдать новое значение самостоятельно. Клиенту отвечайте сразу по достижении кворума. В направлении A тестREAD REPAIR LATEпроверяет, что поздний ответ реплики тоже учитывается при восстановлении. - Sloppy quorum. Если по тайм-ауту ответов основных реплик не хватает для кворума, продолжайте обход кольца и обращайтесь к резервным узлам. В
SLOPPY QUORUM READчтение с кворумом 2 должно завершиться, хотя доступна только одна основная реплика. - Hinted handoff. Когда основная реплика снова станет доступна, передайте ей данные с резервной. В тесте
HINTED HANDOFFпосле успешной передачи значение должно появиться на вернувшейся реплике, а временная копия - исчезнуть.
Запустите тестер с --core. Когда пройдёте все тесты основной части, выберите повышенные направления в разделе «Оценивание».