Модели процессов согласования реплик в базах данных Nosql

1.3.4.
 
Согласование реплик после устранения сбоя или отказа в узле 
Согласно ГОСТ Р 53480-2009 [35] устойчивость к неисправности – это 
способность изделия продолжать функционирование при определенных видах 
неисправности (Fault Tolerance). В дальнейшем под неисправностью будем 
понимать отказ одного или нескольких узлов кластера NoSQL. Поэтому термины 
«отказоустойчивость» и «устойчивость к неисправности» будем считать 
синонимами. 
Для выполнения запросов к базе данных NoSQL после выхода узла из строя 
используются другие узлы. Некоторые базы данных даже сохраняют число 
реплик N после отказа узлов, копируя недостающие реплики на другие узлы 
(например, Riak [19]). Существуют алгоритмы, позволяющие обновить данные 
после восстановления узлов: 
1.
«
Hinted Handoff
» [36]. Если узел временно выключен или недоступен во 
время операции записи, то реплика, которая обычно находилась бы на 
узле A, будет направлена на узел D. Это делается для того, чтобы 
сохранить требуемую доступность и гарантии отказоустойчивости. 
Реплика, отправленная на узел D, содержит метку /hint/ в своих 
метаданных, в которой указывается, какой узел был предполагаемым 
получателем реплики (в данном случае A). Узлы, которые получают 
помеченные реплики, хранят их в отдельной локальной базе данных, 
которая периодически сканируются. Если узел A восстановит 
работоспособность, узел D будет пытаться доставить помеченную 
реплику на узел А. После успешной передачи узел D может удалить 
объект из локального хранилища, не уменьшая при этом общее 
количество реплик в системе. 
2.
«Active Anti-Entropy (AAE)» 
[37] – механизм активного противодействия 
энтропии. Механизм временной передачи ответственности, описанный 
ранее, отлично работает, если из строя выходят небольшое число узлов и 
их работа восстанавливается через некоторое время. Есть сценарии, при 
которых помеченные реплики становятся недоступными, прежде чем 

---

32 
они вернутся на исходный для данной реплики узел. Протокол для 
противодействия энтропии справляется с этой задачей. Алгоритм 
использует деревья Меркле [38], что позволяет существенно снизить 
объем передаваемых данных, т.к. узлы обмениваются только хешем 
определенных разделов, с помощью которых обновляются устаревшие 
данные. Объем передаваемой информации зависит только от объема 
устаревших данных и не зависит от объема данных, хранящихся на 
узлах, т.к. чаще всего большая их часть будет согласована.
В SQL-ориентированных системах для обеспечения целостности данных на 
узле используется сегмент отката и журнал транзакций [39], в системах NoSQL 
используются следующие подходы: упреждающая запись (MongoDB, HBase), 
журнал дозаписи (Redis) [14]. 
Многократная репликация каждой записи БД (обычно не менее 3) на разных 
физических узлах позволяет существенно повысить отказоустойчивость баз 
данных NoSQL. Например, при настройках репликации (N,W,R)=(5,1,1) система 
все еще будет отвечать на запросы пользователя, даже если четыре узла из пяти 
перестанут функционировать. Однако на больших кластерах узлы могут выходить 
из строя часто, а ремонтные бригады могут не всегда справляться с работой. 
Следовательно, существует определенная вероятность, что из распределенного 
хранилища не будет прочитана запись. Поэтому оценка вероятности отказа в 
доступе к записи базы данных является актуальной задачей.