SlideShare a Scribd company logo
Apache Kafka and
stream processing
peculiarities
Предисловие
– Hadoop?
– Storm?
– Onyx?
– Dryad?..
Нет, не слышал
Kafka
Лог сообщений:
– Хранимый и надёжный
– Распределенный
– Масштабируемый
– ну и всё самое хорошее
Turning database
inside out
Доклад Мартина Клеппмана
на Strange Loop’14:
https://www.youtube.com/watch?v=fU9hR3kiOK0
App State = Processing(log)
Stream processing
Состояние
Task
process window
Timer
Плюсы
– Можно пересчитать заново
– Низкая связанность
(coupling)
– Легко тестировать
2 недели
Apache Kafka and stream processing peculiarities [ru]
Всё вручную
– WHERE
– Индексы
– JOIN
– Идентификаторы
– Агрегация
– JOIN!!!
JOIN, Aggregate
tweet-idurl
url
url/tidurl
url
sum
А ещё
– Разломанный конвеер - не
беда
– Обработка шага заново
Хочу!
Kafka
Samza – для JVM
http://wiki.apache.org/samza/PapersAndTalks
Pymza – для Python

More Related Content

PDF
Внутреннее устройство PostgreSQL: временные таблицы и фрагментация памяти / Г...
PDF
Новые технологии репликации данных в PostgreSQL / Александр Алексеев (Postgre...
PPTX
Пайплайн машинного обучения на Apache Spark
PDF
Badoo presentation-2012-rit-nasretdinov
PDF
Юрий Насретдинов-«Сбор логов в «облаке» в Badoo»
PDF
Абак Пресс
PDF
Юрий Насретдинов, Badoo
PPTX
Динамическая аллокация ресурсов или как жить в условиях общежития?
Внутреннее устройство PostgreSQL: временные таблицы и фрагментация памяти / Г...
Новые технологии репликации данных в PostgreSQL / Александр Алексеев (Postgre...
Пайплайн машинного обучения на Apache Spark
Badoo presentation-2012-rit-nasretdinov
Юрий Насретдинов-«Сбор логов в «облаке» в Badoo»
Абак Пресс
Юрий Насретдинов, Badoo
Динамическая аллокация ресурсов или как жить в условиях общежития?

What's hot (20)

PDF
libfpta: в памяти, с персистентностью, быстрее хайпа
PPTX
Минуты из жизни со Spark
PDF
Ровная балансировка нагрузки на фронтенд-кластере
PDF
2014.09.24 история небольшого успеха с PostgreSQL (Yandex)
PDF
Хранение данных на виниле / Константин Осипов (tarantool.org)
PPTX
В ногу со временем, или как делать upgrade PostgreSQL / Андрей Сальников (Dat...
PPTX
Скорость с доставкой до пользователя
PDF
Облако в Badoo год спустя
PPTX
Движок LMDB — особенный чемпион / Юрьев Леонид (Петер-Сервис R&D)
PPTX
Alexandr Serbul "The Rust language for a high-load network service - a quick ...
PDF
Девять кругов ада или PostgreSQL Vacuum / Алексей Лесовский (PostgreSQL-Consu...
PPTX
PostgreSQL. Стильно. Модно. Молодёжно
PDF
Современная операционная система: что надо знать разработчику / Александр Кри...
PDF
Benchmarking PostgreSQL in Linux and FreeBSD
PDF
Отладка и устранение проблем в PostgreSQL Streaming Replication.
PPTX
Дмитрий Лазаренко-«Живая миграция и отказоустойчивость контейнеров в гибридно...
PDF
Оптимизация high-contention write в PostgreSQL / Александр Коротков, Олег Бар...
PPTX
Тюним память и сетевой стек в Linux: история перевода высоконагруженных серве...
PDF
RootConf 2015
PDF
DevConf-2015: Lightning Memory-Mapped Database (LMDB), ReOpen IT
libfpta: в памяти, с персистентностью, быстрее хайпа
Минуты из жизни со Spark
Ровная балансировка нагрузки на фронтенд-кластере
2014.09.24 история небольшого успеха с PostgreSQL (Yandex)
Хранение данных на виниле / Константин Осипов (tarantool.org)
В ногу со временем, или как делать upgrade PostgreSQL / Андрей Сальников (Dat...
Скорость с доставкой до пользователя
Облако в Badoo год спустя
Движок LMDB — особенный чемпион / Юрьев Леонид (Петер-Сервис R&D)
Alexandr Serbul "The Rust language for a high-load network service - a quick ...
Девять кругов ада или PostgreSQL Vacuum / Алексей Лесовский (PostgreSQL-Consu...
PostgreSQL. Стильно. Модно. Молодёжно
Современная операционная система: что надо знать разработчику / Александр Кри...
Benchmarking PostgreSQL in Linux and FreeBSD
Отладка и устранение проблем в PostgreSQL Streaming Replication.
Дмитрий Лазаренко-«Живая миграция и отказоустойчивость контейнеров в гибридно...
Оптимизация high-contention write в PostgreSQL / Александр Коротков, Олег Бар...
Тюним память и сетевой стек в Linux: история перевода высоконагруженных серве...
RootConf 2015
DevConf-2015: Lightning Memory-Mapped Database (LMDB), ReOpen IT
Ad

Similar to Apache Kafka and stream processing peculiarities [ru] (20)

PDF
Дмитрий Носов, Rambler&Co, H2O на Spark: как мы пили газировку и чуть не захл...
PDF
Другая виртуализация
PPTX
jPoint2014
PPTX
Hosting for forbes.ru_
PPT
CodeFest 2010. Игумнов Е. — Особенности архитектуры веб-сервисов LAMP для выс...
PDF
Tempesta FW: challenges, internals, use cases / Александр Крижановский (Tempe...
PDF
Горизонтальное масштабирование: что, зачем, когда и как /Александр Макаров (Y...
PDF
Streaming replication in practice
PDF
libfpta — обгоняя SQLite и Tarantool / Леонид Юрьев (Positive Technologies)
ODP
Чему мы можем научиться у Lisp'а?
PDF
Дмитрий Грошев, Фёдор Гоголев. Erlang и Haskell в production: проблемы и решения
PDF
Vladimir V Perepelitsa Ae Highload
PPTX
Get inside stage2 new
PDF
Reinventing the wheel - why do it and how to feel good about it - Julik Tarkh...
PPT
Отказоустойчивый микрокластер своими руками, Виталий Гаврилов (Ленвендо)
PDF
Erlang мгновенное просветление
PDF
OSSDEV-2015: ReOpenLDAP
PDF
How to cook a blockchain and not get burned
PPTX
RUNOS OpenFlow controller (ru)
PPTX
Yevgen Lysenko "Practical experience of using AWS Lambda in a high-loaded PHP...
Дмитрий Носов, Rambler&Co, H2O на Spark: как мы пили газировку и чуть не захл...
Другая виртуализация
jPoint2014
Hosting for forbes.ru_
CodeFest 2010. Игумнов Е. — Особенности архитектуры веб-сервисов LAMP для выс...
Tempesta FW: challenges, internals, use cases / Александр Крижановский (Tempe...
Горизонтальное масштабирование: что, зачем, когда и как /Александр Макаров (Y...
Streaming replication in practice
libfpta — обгоняя SQLite и Tarantool / Леонид Юрьев (Positive Technologies)
Чему мы можем научиться у Lisp'а?
Дмитрий Грошев, Фёдор Гоголев. Erlang и Haskell в production: проблемы и решения
Vladimir V Perepelitsa Ae Highload
Get inside stage2 new
Reinventing the wheel - why do it and how to feel good about it - Julik Tarkh...
Отказоустойчивый микрокластер своими руками, Виталий Гаврилов (Ленвендо)
Erlang мгновенное просветление
OSSDEV-2015: ReOpenLDAP
How to cook a blockchain and not get burned
RUNOS OpenFlow controller (ru)
Yevgen Lysenko "Practical experience of using AWS Lambda in a high-loaded PHP...
Ad

More from Vsevolod Solovyov (6)

PDF
Data science: з печі до столу
PDF
How to debug
PDF
Data science from the trenches
PDF
Будни data science/NLP стартапа
PDF
Introduction to information retrieval
PDF
How to choose a database
Data science: з печі до столу
How to debug
Data science from the trenches
Будни data science/NLP стартапа
Introduction to information retrieval
How to choose a database

Apache Kafka and stream processing peculiarities [ru]