Жидков Игорь - Elliptics
2 likes893 views
Документ описывает систему хранения данных Elliptics, которая является отказоустойчивым распределённым key-value хранилищем, позволяющим масштабировать данные без единой точки отказа. Рассматриваются архитектурные подходы, такие как использование DHT, RAID уровней и CAP теоремы для достижения согласованности и доступности данных. Также затрагиваются вопросы восстановления данных и масштабируемости системы с упоминанием её преимуществ и недостатков.
Жидков Игорь - Elliptics
- 2. Elliptics Игорь Жидков, системный администратор
- 3. 〉Нужно хранить много данных, делать это распределенно в нескольких датацентрах 〉Количество данных постоянно растет 〉Данные читают, и читают много 〉Не должно быть единой точки отказа 〉Нужно уметь масштабировать систему 3 Задача хранения данных
- 4. 〉RAID 1 - производительно и надежно 〉RAID 5/6 - надежно и экономично 4 Как насчет RAID?
- 5. Помимо ожидаемого износа оборудования и отказа дисков 〉Машинки перезагружаются и ломаются 〉Случаются перебои в работе сети 〉Целиком отключаются датацентры 5 Мир не идеален :(
- 6. 6 Что такое elliptics Elliptics Отказоустойчивое распределенное key-value хранилище данных с открытым исходным кодом (распространяется под GPL-лицензией), не имеющее единой точки отказа
- 7. 7 CAP теорема CAP теорема - выбери любые два: 〉согласованность данных (consistency) 〉доступность (availability) 〉устойчивость к разделению (partition tolerance)
- 9. Elliptics - AP система Согласованность в конечном счете (eventual consistency) - в любой момент времени данные могут быть неконсистентны, но будут консистентны в практически обозримое время 9 CAP теорема
- 10. 10 Как работает elliptics
- 11. 11 Как работает elliptics
- 12. 12 Как работает elliptics
- 13. 13 Как работает elliptics
- 14. 14 Как работает elliptics
- 15. 15 Как работает elliptics
- 16. N - суммарное количество групп W - количество групп, в которое мы должны записать, чтобы транзакция считалась завершенной R - количество групп, из которых читаются данные В Elliptics в зависимости от задач можно использовать несколько типов согласованности: 〉strong consistency - W+R > N медленно, но более надежно 〉weak consistency - W+R<=N - быстро, но менее надежно 16 Отказоустойчивость
- 17. 17 Как работает elliptics
- 18. 18 Как работает elliptics
- 19. 19 Как работает elliptics
- 20. 20 Как работает elliptics
- 21. 21 Как работает elliptics
- 22. 22 Как работает elliptics
- 23. 23 Как работает elliptics
- 24. 24 Как работает elliptics
- 25. 25 Как работает elliptics
- 26. Каждый документ хранится по 512-битному ключу (sha512 от названия) Все ключи - кольцо с диапазоном значений от 0 до 2512 26 DHT в Elliptics
- 27. 27 DHT в elliptics
- 28. echo -n "hypnotoad.jpg" | sha512sum 〉c9b70e9b62923feba1afd890891937c0486d48db99de3cc0e649319e49dfc ba70132e7cf073d3f1e66d61255df668e1950edddcb310b4597e37402750a2f0 71a echo -n "hypnotoad1.jpg" | sha512sum 〉02c1f6c1413fc3fc522638db83fbd76ddb54413a83e909aeeb7566acbcb19f 1008316ff892bf33ab6f8ef4feb19112ae31e14b9d1108270234eeb29cc8cac9f 8 28 DHT в elliptics
- 29. 29 DHT в elliptics
- 30. 30 DHT в elliptics
- 31. 31 DHT в elliptics
- 32. 32 DHT в elliptics
- 33. 33 DHT в elliptics
- 34. 34 DHT в elliptics
- 35. 35 DHT в elliptics
- 36. 36 DHT в elliptics
- 37. 37 DHT в elliptics
- 38. 38 DHT в elliptics
- 39. 39 DHT в elliptics
- 40. 40 DHT в elliptics
- 41. 41 DHT в elliptics
- 42. 42 DHT в elliptics
- 43. 43 DHT в elliptics
- 44. 44 DHT в elliptics
- 45. 45 DHT в elliptics
- 46. 46 DHT в elliptics
- 47. 47 DHT в elliptics
- 48. 48 DHT в elliptics
- 49. 49 DHT в elliptics
- 50. 50 DHT в elliptics
- 51. 51 DHT в elliptics
- 52. 52 DHT в elliptics
- 53. 53 DHT в датацентрах
- 55. 55 Eblob
- 56. 56 Eblob
- 61. Восстановление - обязательный регулярно запускаемый процесс для поддержания консистентности данных в Elliptics 〉Read-recovery - восстановление при чтении 〉Merge - восстановление в рамках одной группы 〉DC - восстановление между группами 61 Восстановление
- 62. 62 Read-recovery
- 63. 63 Read-recovery
- 64. 64 Merge
- 65. 65 Dc
- 66. Легко добавлять ноды, но есть ограничения 〉Итерирование по ноде - длительный ресурсоемкий процесс (упираемся в диск) 〉Перенос и копирование ключей - упирается в сеть 66 Масштабируемость
- 67. 67 Mediastorage
- 68. 68 Mediastorage
- 69. 69 Mediastorage
- 70. 70 Mediastorage
- 71. 71 Mediastorage
- 72. 72 Mediastorage
- 73. 73 Mediastorage
- 74. 74 Mediastorage
- 75. 75 Mediastorage
- 76. 76 Mediastorage
- 77. 77 Mediastorage
- 78. 78 Mediastorage
- 79. 79 Mediastorage
- 80. Обе схемы имеют право на жизнь, у каждой свои преимущества и недостатки DHT: + не надо хранить ключ + высокая производительность + хорошая отказоустойчивость - долгое восстановление - ограниченные возможности масштабирования 80 Итоги
- 81. Mediastorage: + Легко масштабируется + Хорошая отказоустойчивость + Гибкость, удобство восстановления - Нет чистого key-value, необходимо хранить couple 81 Итоги
- 83. https://tech.yandex.ru/elliptics/ https://github.com/reverbrain/elliptics https://github.com/yandex/mastermind http://reverbrain.com/elliptics/ 83 Ссылки