SE2016 Java Vladimir Mikhel "Scrapping the web"
1 like143 views
Документ описывает процесс веб-скрейпинга, включая проблемы, связанные с мобильными версиями сайтов, и методы индексации контента. В нем упоминаются различные технологии для агрегации и мониторинга данных из социальных сетей, а также форматы представления и постобработки данных. Также рассматриваются требования пользователей к 'умным' парсерам и упоминаются идейные шаги для улучшения процессов парсинга с использованием машинного обучения.
![Постпроцессоры - их тоже много
ensureBodyRss (_descriptionRss)
htmlPresenterPostprocessor (_bodyPresentedJson/_bodyPresentedHtml)
htmlCleanerPostprocessor
ensureDocumentId (md5Hex(url))
ensureBody (_description)
ensureImages (относительный в абсолютный _image, _imageGif, _images,
_imagesGif)
ensureParsedDate
descriptionPresentedPostprocessor (540 символов || _bodyPresentedJson 260-270
символов)
imageGifPostprocessor(_image ->_imageGif /_images
->_imagesGif)
firstImagePresentedPostprocessor (_images[0] ->_image,
_imagesGif[0] -> _imageGif, _bodyPresentedJson[0 img] ->
_image)
taggerNePostprocessor (->_neBody)
myNewsTagImploderPostprocessor (_tags <- _types, _tagsNavi,
_neBody, _keywords, _language) (TagType (__siT, __siC, __kwd)
-> _tags)
docdresserPostprocessor (DocDresser tags -> _tags)
deduplicatorPostprocessor (!allowDuplicates)
imagePostProcessor - отправляет на закачку
imageCounterPresentedPostprocessor (_imagesTotal)](https://image.slidesharecdn.com/vladimirmikhelscrappingtheweb-161005032315/85/SE2016-Java-Vladimir-Mikhel-Scrapping-the-web-17-320.jpg)
![Планы на будущее
- МашинЛернинг нейросети над масками DOM
- конвертация форматов
Тут можно упомянуть конкурентные решения / че как
- ML над DOM
- ML над рендером - computer vision [diffbot]
- сторонние эвристические решения - Boilerpipe,](https://image.slidesharecdn.com/vladimirmikhelscrappingtheweb-161005032315/85/SE2016-Java-Vladimir-Mikhel-Scrapping-the-web-40-320.jpg)
SE2016 Java Vladimir Mikhel "Scrapping the web"
- 1. Scrapping the web Грабим веб
- 3. Команда
- 4. Проблемы - Мобильная версия сайта - Мобильное приложение для .. - Проиндексировать содержимое сайта (поиск) - Приложение-читалка (Flipboard, ..) - Мониторинг / аггрегация контента соцсетей по тегу / геотегу / группе /.. - Агрегация контента одной организации - Собрать все товарные позиции в интернет магазине (Alibaba, ..) - Сниппет страницы
- 7. Apache Solr DataImportHandler jdbc/DIH • -full-import • -delta-import
- 9. к просмотру страниц к продолжительности посещения уменьшение Интересные цифры
- 11. 1 – вводим URL сайта 2 – процесс краулинга ~20 секунд 3 – тестуруем выдачу с картинками + код для вставки на сайт
- 12. Нужен парсер!
- 13. Маска
- 14. Пример - маска для сбора данных из OG-тегов
- 15. Масок много - System Masks – High Level level < 0.2f - Custom Masks (Site / Domain) 0.2f <= level <0.4f - System Masks – Low Level 0.4f <= level
- 16. Выходной документ JSON / базовые поля _id, _url, _canonical, _title, _category, //category/rubric on site _subCategory, // 1 level deeper _siteName, _image, _imageGif, _images(true), _imagesGif(true), _imagesTotal, _description, _descriptionRss, _body, _bodyPresentedHtml, _bodyPresentedJson, _bodyNe, _bodyPresentedHtmlNe, _bodyPresentedJsonNe, _sumtext, _base, _authorName, _authorUrl, _types(true), //URL contexts _tagsNavi(true), // site navigational tags _tagsBody(true), // nouns and adjectives detected with standard postprocessor in body _neBody(true), _keywords(true), // mainly meta keywords _language, // language 2letter _tags(true), // sum of tag field with type prefixes _datePublished, _dateParsed, _videoYoutube, _videoVimeo, _generator, // CMS provided _cmsName, // CMS name in canonical form _cmsVersion, // CMS version in canonical form _robots(true), _noindex
- 17. Постпроцессоры - их тоже много ensureBodyRss (_descriptionRss) htmlPresenterPostprocessor (_bodyPresentedJson/_bodyPresentedHtml) htmlCleanerPostprocessor ensureDocumentId (md5Hex(url)) ensureBody (_description) ensureImages (относительный в абсолютный _image, _imageGif, _images, _imagesGif) ensureParsedDate descriptionPresentedPostprocessor (540 символов || _bodyPresentedJson 260-270 символов) imageGifPostprocessor(_image ->_imageGif /_images ->_imagesGif) firstImagePresentedPostprocessor (_images[0] ->_image, _imagesGif[0] -> _imageGif, _bodyPresentedJson[0 img] -> _image) taggerNePostprocessor (->_neBody) myNewsTagImploderPostprocessor (_tags <- _types, _tagsNavi, _neBody, _keywords, _language) (TagType (__siT, __siC, __kwd) -> _tags) docdresserPostprocessor (DocDresser tags -> _tags) deduplicatorPostprocessor (!allowDuplicates) imagePostProcessor - отправляет на закачку imageCounterPresentedPostprocessor (_imagesTotal)
- 18. ПИВОТ
- 19. Новости Технологии Смешное развлечения, новости, статьи, видео все лучшее в одном приложении
- 20. Новостные сайты Глянец Галереи Видео гиф Разные форматы отображения
- 21. Инстаграм фиды Твиттер фиды
- 22. Нужен новый формат документа
- 23. PRESENTED JSON
- 24. За года появилось новых формата отображения контента
- 26. FREEBASE тегирование Deprecated - Google WTF?
- 27. ● -пример словаря ● -пример документа с тегами
- 28. Отбрасываем категории топиков FREEBASE ● Оставляем топики <= 3 слова ● Оставляем RU, UA, EN ● Индексируем в Elastic Search
- 30. НУЖЕН “УМНЫЙ” ПАРСЕР находить тело статьи и делать это хорошо
- 31. ШАГ 1 - Нахождение опорной точки в DOM нечеткий поиск RSS / title – скриншот-пример
- 32. Плохие слова
- 33. ШАГ 2 - Нахождение граничных точек сверху снизу внутри баннер читайте так же СКРИНШОТ выделенный кусок граничного
- 35. ШАГ 3 – Оценка вариантов ● Плотность текста ● Содержит ноду с высокой плотностью ● Количество изображений ● Содержание видео эмбедов ● Является вероятным article контейнером ● Содержит вероятный article контейнер ● Глубина DOM блока ● Удаленность от опорной точки
- 37. Синтаксис и демонстрация на тестовом стенде
- 38. Запуски скорость работы Наше приложение открылось заоткрылось за
- 40. Планы на будущее - МашинЛернинг нейросети над масками DOM - конвертация форматов Тут можно упомянуть конкурентные решения / че как - ML над DOM - ML над рендером - computer vision [diffbot] - сторонние эвристические решения - Boilerpipe,
- 41. Сюрприз Доступ к тестовому стенду http://..
- 42. Контакты