Selenium como herramienta de Web Scraping
2 recomendaciones4,739 vistas
Este documento describe Selenium como una herramienta para web scraping. Explica que Selenium permite automatizar navegadores web en varias plataformas y se puede usar para pruebas de aceptación web, automatización de acciones de usuario y web scraping. También describe cómo Selenium tiene bindings para lenguajes como Python, Java y C# que permiten extraer información de sitios web de forma automatizada.
Selenium como herramienta de Web Scraping
- 1. Selenium como herramienta de Web Scraping @dani_latorre - 26/08/2013 - Zaragoza Python Days
- 2. Web Scraping • “... es una técnica utilizada mediante programas de software para extraer información de sitios web.” • Ingeniería inversa • Controvertido
- 3. Selenium • “Selenium is a suite of tools to automate web browsers across many platforms.” • Testing de aceptación web • Automatización de acciones de usuario • Web scraping
- 4. Bindings • Python • Java • C# • Ruby • Javascript - Node • PHP, Perl (mantenidos por terceros)
- 5. Otras librerías • urllib • Mechanize • BeautifulSoup/lxml • Scrapy (crawling)
- 6. Viene bien • XPath • Selectores CSS • Expresiones Regulares • Mucha paciencia
- 9. Caso ShuttleCloud • Migración entre proveedores de email • Necesidad de escalabilidad • Homogeneizar scrapers • Herramienta madura
- 11. Infraestructura (EC2) • 1 Selenium Hub • 3 Selenium Grid (15 firefox) • 1 BrowserMob Proxy • 3 BigCouch • 1 Rabbit MQ • 1 Scrapers
- 13. find_element_by... • _id / _name • _tag_name • _link_text / _partial_link_text • _class_name • _css_selector • _xpath
- 14. Navegación • get("http://dlabs.co/") • anchor_element.click() • switch_to_window("name") • switch_to_frame("name") • add_cookie({"key": "value"}) • get_cookies()
- 15. Interacción • input.send_keys("some text") • input.clear() • option.click() • submit.click() • execute_script(“alert(‘foo’)”)
- 17. Gracias