Hadoop webcamp 2015
2 likes666 views
Документ обсуждает распределенные вычисления на JavaScript с фокусом на обработку больших массивов данных из социальных сетей, особенно Twitter, с использованием модели MapReduce. Приводятся примеры запросов для анализа упоминаемости ключевых слов и описывается архитектура обработки данных, включая использование Amazon S3 и HBase. Также рассматриваются проблемы, с которыми можно столкнуться при реализации, такие как установка зависимостей и токенизация данных.
![Фазы mapreduce
map: mapper(line) -> (k1, v1)
shuffle: сортировка по k1
reduce: reducer(k1, [v1, v2, v3])](https://image.slidesharecdn.com/hadoopwebcamp2015-150704094718-lva1-app6892/85/Hadoop-webcamp-2015-7-320.jpg)
Hadoop webcamp 2015
- 1. Распределенные вычисления на JavaScript! Viktor Turskyi CTO at WebbyLab Webcamp 2015
- 2. Бизнес задача Обработка большого массива (миллиарды записей) данных с соц. сетей.
- 3. Примера анализа Расчет упоминаемости групп ключевых слов. Источник данных - Twitter Public Stream API Объем данных: +15ГБ ежедневно (5ТБ в год)
- 4. Примеры запроса “#nike” против “#adidas” “#nike & nba” против “#adidas & nba” “(спорт|турнир) & -футбол” “волки & косметичка”
- 5. MapReduce или как это делают в Google MapReduce — модель распределённых вычислений, представленная компанией Google, используемая для параллельных вычислений над очень большими, несколько петабайт, наборами данных в компьютерных кластерах. (Wikipedia)
- 7. Фазы mapreduce map: mapper(line) -> (k1, v1) shuffle: сортировка по k1 reduce: reducer(k1, [v1, v2, v3])
- 8. Подсчет слов (“hello world” из мира MR)
- 9. Подсчет слов
- 10. Когда Джефф Дин не может заснуть, он мап-редьюсит овечек
- 11. Экосистема Hadoop Google MapReduce -> Hadoop Mapreduce Google File System -> HDFS Google BigTable -> Hbase
- 12. Как использовать JS c Hadoop (hadoop streaming)
- 13. Подсчет слов на hadoop streaming
- 14. Тестируем локально cat data | ./mapper.js | sort -k1,1 | ./reducer.js
- 15. Boilerplate for Hadoop tasks https://github.com/koorchik/node-hadoop- boilerplate
- 16. От “hello world” к реальной задаче Задача: сравнение упоминаемости групп ключевых слов. Вход: данные с твиттера Выход: график упоминаемости групп ключевых слов по дням Время обработки: до 10 секунд
- 18. Режим работы 1) Запись и хранение данных на S3 2) Ежедневный пересчет (transient cluster) 3) Дополнительный кластер для hbase (хранит индексы и результаты вычислений). 4) Оплата только за используемые ресурсы
- 21. Проблемы Установка зависимостей на кластер Склонения слов (стеминг, лематизация) Асинхронность маппера Стоп-слова Токенизация (ссылки, хеш-теги, юзернеймы) Компрессия индекса Вычисление пересечений в индексе Ранжирование документов Обработка словосочетаний
- 22. Создаем кластер на AWS EMR (демо) 1) Установка NodeJS на кластер 2) Работа с зависимостями
- 25. Ссылки Hadoop streaming utils for NodeJS https://www.npmjs.com/package/hadoop- streaming-utils Node Hadoop boilerplate https://github.com/koorchik/node-hadoop-boilerplate NodeJS Mystem3 - https://www.npmjs.com/package/mystem3 MapReduce: Simplified Data Processing on Large Clusters http://research. google.com/archive/mapreduce.html Amazon Elastic MapReduce http://aws.amazon.com/elasticmapreduce/