SlideShare a Scribd company logo

Cоздаем пробки или тюнинг postgresql для расчетных задач

D
DevDay

Документ описывает оптимизацию работы с базой данных PostgreSQL для задач расчета пробок. В нем содержатся технические детали, связанные с производительностью и обработкой данных, такие как настройка autovacuum и партицирование таблиц. Эффективность системы демонстрируется через сравнение времени отклика Redis и PostgreSQL.

1 of 29
Download to read offline
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
Создаём ПРОБКИ. ТЮНИНГ PostgreSQL для расчетных задач. Скоморохов Евгений
Обо мне Скоморохов Евгений Юрьевич разработчик сервиса Пробки 2ГИС Ранее ● разработка ПО по работе с БД PostgreSQL в "КиберТехнология" ● разработка WorkFlow в "АБП"
Cоздаем пробки или тюнинг postgresql для расчетных задач
2gis Mobile
Геометрии
Исходные данные POINT(82.870156074 54.995442578);157;13
Процесс CPP CPP Nginx Png Nginx http Точки MongoDb PostgreSQL PostgreSQL http Mobile http
Бизнес логика PostgreSQL + PostGIS
Генерализация ЗЕБРА МАКРОРЕБРО
Полосы движения
Обрезаем
Удлинняем
Пробки
Притяжка точек
Расчёт пробок Аггрегация Фильтрация
Показатели Притяжка 1000 точек/секунду Подготовка графа 20 минут
Поговорить
PostgreSQL Хранение
PL/pgSQL Структуры данных
Как разрабатывать ЗАДАЧА
Система i-net н ые Д ан Запас прочности
Деградация Ограничение объемов данных Autovacuum pgTune + pgFouine
Фича Данные для обработки вырастут в N раз
Партицирование 2 таблицы лучше чем одна
Декомпозиция Вычисление на лету
Много строк Как уменьшить индекс?
Redis vs PostgreSQL Число записей: 60.000.000 Отдача пробок 95 % персентиль Redis 40 мс PostgreSQL 55 мс
Заключение Расчеты в БД - быстро, качественно, надежно
Вопросы Скоморохов Е.Ю. | icq:282708810 | e.skomorokhov@2gis.ru

More Related Content

PDF
Не SQL'ем единым
Alexander Byndyu
 
PDF
Технологии больших веб проектов завтра и послезавтра
Nikita Semenov
 
PPT
Пути увеличения эффективности реализации алгоритмов машинного обучения
Andrew Babiy
 
PDF
Л9: Взаимодействие веб-приложений
Technosphere1
 
PDF
Хранение данных на виниле / Константин Осипов (tarantool.org)
Ontico
 
PPTX
ПКС-контроллеры сегодня: мифы и реальность
ARCCN
 
PDF
2015.02.06 PostgreSQL в Яндексе: история успеха №2
dev1ant
 
ODP
Highload Begun Pankov
Ontico
 
Не SQL'ем единым
Alexander Byndyu
 
Технологии больших веб проектов завтра и послезавтра
Nikita Semenov
 
Пути увеличения эффективности реализации алгоритмов машинного обучения
Andrew Babiy
 
Л9: Взаимодействие веб-приложений
Technosphere1
 
Хранение данных на виниле / Константин Осипов (tarantool.org)
Ontico
 
ПКС-контроллеры сегодня: мифы и реальность
ARCCN
 
2015.02.06 PostgreSQL в Яндексе: история успеха №2
dev1ant
 
Highload Begun Pankov
Ontico
 

What's hot (20)

PDF
СХД для обработки сейсмики: сравнительный обзор
Vsevolod Shabad
 
PPTX
Тюним память и сетевой стек в Linux: история перевода высоконагруженных серве...
Ontico
 
PPT
Hl++2008 Gorniy Readme
Ontico
 
PDF
Дмитрий Новиков - Tarantool в Badoo
Mail.ru Group
 
PDF
Что особенного в СУБД для данных в оперативной памяти / Константин Осипов (Ta...
Ontico
 
PPT
Масштабируемая система голосования на базе PostgreSQL. PGQ (Сергей Нековаль)
Ontico
 
PPT
Масштабируемая система голосования на базе PostgreSQL PgQ, Сергей Нековаль
Fuenteovejuna
 
PPTX
Организация аппаратного поиска в таблицах OpenFlow на базе ПЛИС
ARCCN
 
PDF
Михаил Табунов, Аналитическая платформа на несколько миллиардов событий в месяц
Tanya Denisyuk
 
PDF
Андрей Николаенко, IBS. NVMf: 5 млн IOPS по сети своими руками
IBS
 
PPT
SAMag2007 Conference: PostgreSQL 8.3 presentation
Nikolay Samokhvalov
 
PDF
Open Source SQL-базы данных вступили в эру миллионов запросов в секунду / Фед...
Ontico
 
PPTX
Эффективное использование спотовых узлов Amazon EC2 / Дмитрий Пушкарев (Molec...
Ontico
 
PDF
Как Python Дайджест работает с внешней статикой
PyNSK
 
PPT
Исследования программно-конфигурируемых сетей в Оренбургском государственном ...
ARCCN
 
PDF
Профилирование Node.js
Denis Chistyakov
 
PPTX
Chronicle Map — key-value хранилище для трейдинга на Java / Левентов Роман (C...
Ontico
 
PDF
Дмитрий Носов, Rambler&Co, H2O на Spark: как мы пили газировку и чуть не захл...
Mail.ru Group
 
PDF
10 HappyDev-lite'14 Иван Погудин, Анатолий Никулин. Решение задач, связанных...
HappyDev
 
PDF
Архитектура и программирование потоковых многоядерных процессоров для научных...
a15464321646213
 
СХД для обработки сейсмики: сравнительный обзор
Vsevolod Shabad
 
Тюним память и сетевой стек в Linux: история перевода высоконагруженных серве...
Ontico
 
Hl++2008 Gorniy Readme
Ontico
 
Дмитрий Новиков - Tarantool в Badoo
Mail.ru Group
 
Что особенного в СУБД для данных в оперативной памяти / Константин Осипов (Ta...
Ontico
 
Масштабируемая система голосования на базе PostgreSQL. PGQ (Сергей Нековаль)
Ontico
 
Масштабируемая система голосования на базе PostgreSQL PgQ, Сергей Нековаль
Fuenteovejuna
 
Организация аппаратного поиска в таблицах OpenFlow на базе ПЛИС
ARCCN
 
Михаил Табунов, Аналитическая платформа на несколько миллиардов событий в месяц
Tanya Denisyuk
 
Андрей Николаенко, IBS. NVMf: 5 млн IOPS по сети своими руками
IBS
 
SAMag2007 Conference: PostgreSQL 8.3 presentation
Nikolay Samokhvalov
 
Open Source SQL-базы данных вступили в эру миллионов запросов в секунду / Фед...
Ontico
 
Эффективное использование спотовых узлов Amazon EC2 / Дмитрий Пушкарев (Molec...
Ontico
 
Как Python Дайджест работает с внешней статикой
PyNSK
 
Исследования программно-конфигурируемых сетей в Оренбургском государственном ...
ARCCN
 
Профилирование Node.js
Denis Chistyakov
 
Chronicle Map — key-value хранилище для трейдинга на Java / Левентов Роман (C...
Ontico
 
Дмитрий Носов, Rambler&Co, H2O на Spark: как мы пили газировку и чуть не захл...
Mail.ru Group
 
10 HappyDev-lite'14 Иван Погудин, Анатолий Никулин. Решение задач, связанных...
HappyDev
 
Архитектура и программирование потоковых многоядерных процессоров для научных...
a15464321646213
 
Ad

Viewers also liked (18)

PDF
Взаимодействие Go и C-библиотек. Go и Erlang
DevDay
 
PDF
Манипулятор на Ti Stellaris Launchpad, Лёша Романенко
DevDay
 
PPTX
Lua vs c++_desyatov
DevDay
 
PDF
SQL-ник DevDay. Рубцов. Новое в Percona Server и MariaDB в сравнении с MySQL 5.5
DevDay
 
PDF
Артём Кудзев «Делайте на работе то, что мотивирует»
DevDay
 
PDF
App store iap. short comments
DevDay
 
PPT
Веб 3.0. Футуристический рассказ о будущем интернета и IT
DevDay
 
PDF
«Agile-тестирование по версии API 2ГИС» — Анастасия Огаркова, 2ГИС
DevDay
 
PDF
Фича готова. Что дальше?
DevDay
 
PDF
Хочу делать игры, пусть меня научат — DevDay, 06.06.2012
DevDay
 
PDF
«Роль исследований в формировании продуктового видения компании», Лиза Алексе...
DevDay
 
PDF
«Я спросил у сервера...», Илья Пастушков
DevDay
 
PDF
«Bdd и реактивщина в 2ГИС», Евгений Тютюев
DevDay
 
PPT
Инструкция по созданию самопального биллинга, Михаил Крестьянинов (Новотелеком)
DevDay
 
PDF
Матвей Мальков «Ещё один поиск контактов на Android»
DevDay
 
PPT
Распределенное хранилище Ceph. Обзор и практические способы использования
DevDay
 
PDF
Рендеринг может больше: vue.js vs React, Андрей Солодовников
DevDay
 
PDF
Тимофей Чаптыков «Верстальщик должен быть ленивый»
DevDay
 
Взаимодействие Go и C-библиотек. Go и Erlang
DevDay
 
Манипулятор на Ti Stellaris Launchpad, Лёша Романенко
DevDay
 
Lua vs c++_desyatov
DevDay
 
SQL-ник DevDay. Рубцов. Новое в Percona Server и MariaDB в сравнении с MySQL 5.5
DevDay
 
Артём Кудзев «Делайте на работе то, что мотивирует»
DevDay
 
App store iap. short comments
DevDay
 
Веб 3.0. Футуристический рассказ о будущем интернета и IT
DevDay
 
«Agile-тестирование по версии API 2ГИС» — Анастасия Огаркова, 2ГИС
DevDay
 
Фича готова. Что дальше?
DevDay
 
Хочу делать игры, пусть меня научат — DevDay, 06.06.2012
DevDay
 
«Роль исследований в формировании продуктового видения компании», Лиза Алексе...
DevDay
 
«Я спросил у сервера...», Илья Пастушков
DevDay
 
«Bdd и реактивщина в 2ГИС», Евгений Тютюев
DevDay
 
Инструкция по созданию самопального биллинга, Михаил Крестьянинов (Новотелеком)
DevDay
 
Матвей Мальков «Ещё один поиск контактов на Android»
DevDay
 
Распределенное хранилище Ceph. Обзор и практические способы использования
DevDay
 
Рендеринг может больше: vue.js vs React, Андрей Солодовников
DevDay
 
Тимофей Чаптыков «Верстальщик должен быть ленивый»
DevDay
 
Ad

Similar to Cоздаем пробки или тюнинг postgresql для расчетных задач (20)

PDF
PostgreSQL: вчера, сегодня, завтра, Олег Бартунов, Postgres Professional, Мо...
it-people
 
PDF
Последние новости постгреса с PGCon / О.Бартунов, А.Коротков, Ф.Сигаев (Postg...
Ontico
 
PPTX
JS Fest 2019. Игорь Березин и Николай Крещенко. Эволюция архитектуры многогра...
JSFestUA
 
PDF
Денис Колошко, Пример нагруженной системы на базе продуктов Microsoft, Amazon...
Tanya Denisyuk
 
PDF
20111002 information retrieval raskovalov_lecture3
Computer Science Club
 
PDF
Оптимизация high-contention write в PostgreSQL / Александр Коротков, Олег Бар...
Ontico
 
ODP
Scaling PostgreSQL
Дмитрий Васильев
 
PDF
специализированные http-демона (Сергей Боченков, Александр Панков)
Ontico
 
PDF
Ivan Kotlyar. PostgreSQL in web applications
DrupalSib
 
PDF
Эксперименты с Postgres в Docker и облаках — оптимизация настроек и схемы ва...
Nikolay Samokhvalov
 
PDF
PostgreSQL в высоконагруженных проектах
Alexey Vasiliev
 
PDF
Олег Бартунов и Иван Панченко
CodeFest
 
PPTX
мониторинг производительности приложения на PINBA
Slach
 
ODP
Новые нереляционные системы хранения данных
Vsevolod Dyomkin
 
PDF
Работа с Big Data
MATLAB
 
PPT
Hl2008 Spy Log Architechture 169
Media Gorod
 
PPTX
DUMP-2012 - Базы данных - "MongoDB" Тимофей Миронов (Timeliner)
it-people
 
PPTX
MongoDB. Как готовить, с чем едят?
Tim Mironov
 
PDF
Руслан Гроховецкий "Как Python стал делать погоду в Яндексе"
Yandex
 
PDF
Простая и дешёвая бизнес-аналитика на базе Google BigQuery / Алексей Паршуков...
Ontico
 
PostgreSQL: вчера, сегодня, завтра, Олег Бартунов, Postgres Professional, Мо...
it-people
 
Последние новости постгреса с PGCon / О.Бартунов, А.Коротков, Ф.Сигаев (Postg...
Ontico
 
JS Fest 2019. Игорь Березин и Николай Крещенко. Эволюция архитектуры многогра...
JSFestUA
 
Денис Колошко, Пример нагруженной системы на базе продуктов Microsoft, Amazon...
Tanya Denisyuk
 
20111002 information retrieval raskovalov_lecture3
Computer Science Club
 
Оптимизация high-contention write в PostgreSQL / Александр Коротков, Олег Бар...
Ontico
 
Scaling PostgreSQL
Дмитрий Васильев
 
специализированные http-демона (Сергей Боченков, Александр Панков)
Ontico
 
Ivan Kotlyar. PostgreSQL in web applications
DrupalSib
 
Эксперименты с Postgres в Docker и облаках — оптимизация настроек и схемы ва...
Nikolay Samokhvalov
 
PostgreSQL в высоконагруженных проектах
Alexey Vasiliev
 
Олег Бартунов и Иван Панченко
CodeFest
 
мониторинг производительности приложения на PINBA
Slach
 
Новые нереляционные системы хранения данных
Vsevolod Dyomkin
 
Работа с Big Data
MATLAB
 
Hl2008 Spy Log Architechture 169
Media Gorod
 
DUMP-2012 - Базы данных - "MongoDB" Тимофей Миронов (Timeliner)
it-people
 
MongoDB. Как готовить, с чем едят?
Tim Mironov
 
Руслан Гроховецкий "Как Python стал делать погоду в Яндексе"
Yandex
 
Простая и дешёвая бизнес-аналитика на базе Google BigQuery / Алексей Паршуков...
Ontico
 

More from DevDay (20)

PDF
«Интеграция push-уведомлений в Яндекс.Браузер под iOS», Юрий Музюкин
DevDay
 
PDF
Фреймворк Slot, Good Parts, Александр Бирюков
DevDay
 
PDF
Devops-практики в разработке решений для бизнеса, Максим Пашук
DevDay
 
PDF
Inversion of Control в деталях, Дмитрий Кожевников
DevDay
 
PDF
«Используем неизменяемые данные и создаем качественный код», Игорь Кудрин
DevDay
 
PDF
«Велогосипед», Данил Ильиных
DevDay
 
PDF
«Процесс создания продукта», Максим Берёзкин
DevDay
 
PDF
«Вывод продукта на новых территориях», Елизавета Алексеенко
DevDay
 
PDF
Лабиринт на Arduino, Вадим Ипполитов
DevDay
 
PDF
«Хоба-хоба и в продакшн», Женя Пономарёв
DevDay
 
PDF
«Бегущий по лезвию. Продуктовые сценарии в дизайне», Макс Карпылев
DevDay
 
PDF
«Тестируем веб приложения», Павел Сташевский
DevDay
 
PDF
«Открытая веб картография», Илья Таратухин
DevDay
 
PDF
«Изоморфные js приложения с использованием catberry.js», Денис Речкунов
DevDay
 
PDF
Олег Годовых «Страх и ненависть в Event Bus»
DevDay
 
PDF
Распределенные приложения и Azure Service Bus
DevDay
 
PDF
Frontend
DevDay
 
PDF
Илья Беда «Как Erlang сделает ваши приложения реалтаймовыми»
DevDay
 
PDF
Роман Акинфеев «Разработка RESTful API with all bells and whistles»
DevDay
 
PDF
Александр Щепановский «Почему каждому языку нужен свой _»
DevDay
 
«Интеграция push-уведомлений в Яндекс.Браузер под iOS», Юрий Музюкин
DevDay
 
Фреймворк Slot, Good Parts, Александр Бирюков
DevDay
 
Devops-практики в разработке решений для бизнеса, Максим Пашук
DevDay
 
Inversion of Control в деталях, Дмитрий Кожевников
DevDay
 
«Используем неизменяемые данные и создаем качественный код», Игорь Кудрин
DevDay
 
«Велогосипед», Данил Ильиных
DevDay
 
«Процесс создания продукта», Максим Берёзкин
DevDay
 
«Вывод продукта на новых территориях», Елизавета Алексеенко
DevDay
 
Лабиринт на Arduino, Вадим Ипполитов
DevDay
 
«Хоба-хоба и в продакшн», Женя Пономарёв
DevDay
 
«Бегущий по лезвию. Продуктовые сценарии в дизайне», Макс Карпылев
DevDay
 
«Тестируем веб приложения», Павел Сташевский
DevDay
 
«Открытая веб картография», Илья Таратухин
DevDay
 
«Изоморфные js приложения с использованием catberry.js», Денис Речкунов
DevDay
 
Олег Годовых «Страх и ненависть в Event Bus»
DevDay
 
Распределенные приложения и Azure Service Bus
DevDay
 
Frontend
DevDay
 
Илья Беда «Как Erlang сделает ваши приложения реалтаймовыми»
DevDay
 
Роман Акинфеев «Разработка RESTful API with all bells and whistles»
DevDay
 
Александр Щепановский «Почему каждому языку нужен свой _»
DevDay
 

Cоздаем пробки или тюнинг postgresql для расчетных задач