Роман Иманкулов-«Быстрые и масштабируемые приложения с Sync API»
0 likes12,393 views
Документ описывает план лекции о синхронизации данных через RESTful API и Sync API, подчеркивая важность времени отклика для пользователей. Он рассматривает примеры реализации на таких сервисах, как Todoist, и обсуждает преимущества и ограничения хранения данных в localstorage. В заключении подчеркивается простота реализации и возможность оптимизации через различные методы сжатия и кэширования.
![Sync API. Первоначальная синхронизация
Запрос
GET /api/sync
Подготовка ответа
MySQL: SELECT ... WHERE user_id=<uid> AND deleted=FALSE
Redis: GET seq_no:<uid>
Ответ
{"seq_no": <seq_no>: "objects": [...]}](https://image.slidesharecdn.com/random-151020093501-lva1-app6892/85/Sync-API-13-320.jpg)
![Sync API. Частичная синхронизация
Запрос
GET /api/sync?seq_no=1234
Подготовка ответа
MySQL: SELECT ... WHERE user_id=<uid> AND seq_no > 1234
Redis: GET seq_no:<uid>
Ответ
{"seq_no": <seq_no>: "objects": [...]}](https://image.slidesharecdn.com/random-151020093501-lva1-app6892/85/Sync-API-14-320.jpg)
![СерверКлиент Другие клиенты
счетчик буфер (redis list, max length: 4, хранит только ids)
создать объекты A, B, C
3
GET /api/sync
{seq_no: 3, objects: [A, B, C]}
создать D, изменить А, B
A
1
B
2
C
3
D
4
A
5
B
6
6
GET /api/sync?seq_no=3
{seq_no: 6, objects: [D, A, B]}
...
GET /api/sync?seq_no=1
Error: full sync required](https://image.slidesharecdn.com/random-151020093501-lva1-app6892/85/Sync-API-20-320.jpg)
Роман Иманкулов-«Быстрые и масштабируемые приложения с Sync API»
- 2. План доклада • Начать с какого-нибудь банального утверждения • Раскритиковать проверенную временем технологию • Представить собственное сомнительное решение • ??? • PROFIT!!!
- 3. Все приличные веб-сервисы предоставляют RESTful API
- 4. C RESTful API что-то не так!
- 5. Response Times: The 3 Important Limits • до 0.1 секунды Пользователь манипулирует объектами напрямую • до 1 секунды Пользователь замечает задержку, но может работать с интерфейсом • 10 секунд Предел терпения Источник: http://www.nngroup.com/articles/response-times-3-important-limits/
- 6. Индексы для коллекций ресурсов Например github.com issues GET /issues GET /user/issues GET /orgs/:org/issues GET /repos/:owner/:repo/issues (и фильтры для milestone, state, assignee, creator, labels …)
- 7. Search API? ElasticSearch, Solr, Sphinx?
- 8. Sync API MySQL, Redis, мозг
- 9. Sync API • Дополняет, а не заменяет RESTful API • Клиенты: толстые, локально хранят копию данных с сервера • Сервер: туповат, просто предоставляет API для получения кусочков данных • Примеры применения: • списки задач, заметок и т.д. • панели управления ресурсами • системы мониторинга, мгновенных уведомлений
- 10. Sync API в Todoist • Основной API для всех официальных клиентов c 2012 года • Работает на Redis и MySQL • Обслуживает 1’000’000 активных пользователей • Синхронизирует задачи между устройствами за 5 секунд • Поддерживается командой из трех разработчиков
- 11. Sync API. Реализация id content … deleted seq_no 1 foo FALSE 56 2 null TRUE 83 Таблица с объектами seq_no:<uid1> 85 seq_no:<uid2> 167 Счетчик в Redis для каждого пользователя
- 12. Sync API. INSERT/UPDATE/DELETE Получить следующий Sequence Number INCR seq_no:<uid> Манипулируя объектом, не забыть обновить seq_no INSERT INTO table (…, seq_no) VALUES (..., <seq_no>) UPDATE table SET … seq_no = <seq_no> UPDATE table SET … is_deleted = TRUE, seq_no = <seq_no>
- 13. Sync API. Первоначальная синхронизация Запрос GET /api/sync Подготовка ответа MySQL: SELECT ... WHERE user_id=<uid> AND deleted=FALSE Redis: GET seq_no:<uid> Ответ {"seq_no": <seq_no>: "objects": [...]}
- 14. Sync API. Частичная синхронизация Запрос GET /api/sync?seq_no=1234 Подготовка ответа MySQL: SELECT ... WHERE user_id=<uid> AND seq_no > 1234 Redis: GET seq_no:<uid> Ответ {"seq_no": <seq_no>: "objects": [...]}
- 15. Sync API. Почему это хорошо • Простая реализация • Данные рядом с клиентом • Один индекс в базе • Push уведомления
- 16. Sync API. Что можно сделать лучше? • Не хотим хранить удаленные объекты в базе! • Не хотим B-tree индекс, который O(log n)
- 17. Синхронизация master-slave в Redis Учимся у @antirez
- 18. slave master клиенты sync создаем буфер готовим данные для отправки Буфер 1 2 3 4 команды: A, B, C A B C возвращаем данные, A, B, C, offset=3 команды: D, E, F DE F 5 6 sync, offset=3 DEF, offset=6
- 19. Sync API v2. Redis backlog Счетчик. Храним seq_no самого последнего сообщения в очереди INCR seq_no:<uid> Очередь. Добавляем id измененного объекта и подрезаем очередь RPUSH queue:<user_id> <object_id> LTRIM queue:<user_id> -1 -100
- 20. СерверКлиент Другие клиенты счетчик буфер (redis list, max length: 4, хранит только ids) создать объекты A, B, C 3 GET /api/sync {seq_no: 3, objects: [A, B, C]} создать D, изменить А, B A 1 B 2 C 3 D 4 A 5 B 6 6 GET /api/sync?seq_no=3 {seq_no: 6, objects: [D, A, B]} ... GET /api/sync?seq_no=1 Error: full sync required
- 21. Sync API v2. Redis backlog • Индексы только по id и user_id. Время поиска и вставки O(1) • Очередь фиксированной длины, и только для активных клиентов. Память О($), где $ — количество платящих клиентов, 1.5Kb на очередь из 200 сообщений 11 млн клиентов на 16Gb (m4.xlarge, 126$ в месяц) • Клиент должен быть готов к "полной перезагрузке" • Используется Evernote и Google Calendar?
- 22. Sync API. Ограничения localStorage User Agent Размер (тыс символов) Чтение из 10k (мс) Чтение из 500k (мс) Чтение из макс (мс) Chrome 33 5,120 3 20 1,026 Chrome Mobile 32 5,120 28 164 1,066 Firefox 27 5,120 1 14 143 IE 11 4,883 15 32 872 Opera 19 5,120 7 36 313 Mobile Safari 7 2,560 16 37 104 Safari 7 2,560 11 44 177 Источник: https://www.stevesouders.com/blog/2014/02/11/measuring-localstorage-performance/
- 23. Ограничения localStorage. Что делать? • Считывать данные в память при первой загрузке для ускорения доступа • Не хранить данные в JSON преобразование списка объектов в CSV экономит до 50% места • Сжимать данные См. http://pieroxy.net/blog/pages/lz-string/index.html, до 95% • Использовать вытесняющий кеш
- 24. Жизнеутверждающий финал Sync API — это • Простая реализация • Данные рядом с клиентом • Redis: память O(n), n — количество активных клиентов • Бесплатные push уведомления