Tutorial de Uso do R Selenium
4 gostaram3,059 visualizações
O documento apresenta um tutorial sobre como usar o pacote RSelenium no R para manipular navegadores da web. Ele discute como instalar o pacote e iniciar o servidor Selenium, identificar elementos na página usando id, classe, css-selector e xpath, interagir com elementos enviando texto e clicando neles, e fazer download de arquivos.
![Estrutura B´asica - xpath
O c´odigo para buscar o elemento na p´agina seria ent˜ao:
## Fun¸c~ao para buscar um objeto na p´agina
webElem <- remDr$findElement(using = "xpath",
"//*[@id=’lst-ib’]")
Daniel Marcelino RSelenium 07 de junho de 2015 21 / 32](https://image.slidesharecdn.com/tutorial-170327023402/85/Tutorial-de-Uso-do-R-Selenium-21-320.jpg)
![Manipula¸c˜ao da p´agina
Ap´os identificado um objeto de interesse, vocˆe pode querer interagir com
ele, seja enviando um texto ou selecionando uma op¸c˜ao. O RSelenium
torna poss´ıvel essa intera¸c˜ao.
O comando “webElem$sendKeysToElement” envia uma a¸c˜ao para seu
objeto selecionado:
## Fun¸c~ao enviar a¸c~ao
remDr$navigate("http://www.google.com/")
webElem <- remDr$findElement(using = "xpath",
"//*[@id=’lst-ib’]")
webElem$sendKeysToElement(list("IPEA"))
Esse comando escrever´a “IPEA” na barra de texto do Google.
Daniel Marcelino RSelenium 07 de junho de 2015 23 / 32](https://image.slidesharecdn.com/tutorial-170327023402/85/Tutorial-de-Uso-do-R-Selenium-23-320.jpg)
![Manipula¸c˜ao da p´agina
Ent˜ao para escrever “IPEA” e pressionar “Enter”, ´e necess´ario o seguinte
comando:
## Fun¸c~ao enviar a¸c~ao
remDr$navigate("http://www.google.com/")
webElem <- remDr$findElement(using = "xpath",
"//*[@id=’lst-ib’]")
webElem$sendKeysToElement(list("IPEA", "uE007"))
Pois “uE007” ´e o c´odigo associado a tecla “Enter”
Daniel Marcelino RSelenium 07 de junho de 2015 25 / 32](https://image.slidesharecdn.com/tutorial-170327023402/85/Tutorial-de-Uso-do-R-Selenium-25-320.jpg)
![Clicar em um elemento
Digamos que nosso interesse seja acessar a p´agina de chamadas p´ublicas
do IPEA, ent˜ao precisamos selecionar o elemento de chamadas p´ublicas e
clicar nele com a fun¸c˜ao “clickElement()”:
## Fun¸c~ao clicar
webElem <- webElems[[which(resHeaders == "Chamadas P´ublicas")]]
webElem$clickElement()
Daniel Marcelino RSelenium 07 de junho de 2015 29 / 32](https://image.slidesharecdn.com/tutorial-170327023402/85/Tutorial-de-Uso-do-R-Selenium-29-320.jpg)
![Clicar em um elemento
Seguindo a mesma l´ogica, ´e simples acessar os links de chamadas p´ublicas
do IPEA:
#Identificar os nomes da busca no site do IPEA
webElems <- remDr$findElements(using = ’css selector’,
"div#conteudo p a")
resHeaders <- unlist(lapply(webElems,
function(x){x$getElementText()}))
#Clicar nas chamadas mais recentes
webElem <- webElems[[1]]
webElem$clickElement()
#Selecionar uma chamada
webElems <- remDr$findElements(using = ’css selector’,
"div#conteudo li a")
resHeaders <- unlist(lapply(webElems,
function(x){x$getElementText()}))
webElem <- webElems[[1]]
webElem$clickElement()
Daniel Marcelino RSelenium 07 de junho de 2015 30 / 32](https://image.slidesharecdn.com/tutorial-170327023402/85/Tutorial-de-Uso-do-R-Selenium-30-320.jpg)
![Clicar em um elemento
Para fazer download do PDF da chamada ´e necess´ario pegar o link e
utilizar o comando interno do R “download.file()”:
#Identificar PDF
webElems <- remDr$findElements(using = ’css selector’,
"div#conteudo p a")
resHeaders <- unlist(lapply(webElems,
function(x){x$getElementAttribute(’href’)}))
#Download do PDF
download.file(resHeaders[1],’Chamada.pdf’,mode=’wb’)
Vocˆe pode definir o nome que quiser e o local que deseja salvar o PDF.
Daniel Marcelino RSelenium 07 de junho de 2015 31 / 32](https://image.slidesharecdn.com/tutorial-170327023402/85/Tutorial-de-Uso-do-R-Selenium-31-320.jpg)
Tutorial de Uso do R Selenium
- 1. Tutorial de uso do RSelenium Daniel Marcelino 07 de junho de 2015 Daniel Marcelino RSelenium 07 de junho de 2015 1 / 32
- 2. Apresenta¸c˜ao 1 Introdu¸c˜ao Instala¸c˜ao Comandos B´asicos 2 Estrutura B´asica id class css-selector name xpath Atributos 3 Manipula¸c˜ao da p´agina Pressionar Teclas Identificar diversos elementos Clicar em um elemento Download PDF 4 Referˆencias Daniel Marcelino RSelenium 07 de junho de 2015 2 / 32
- 3. Introdu¸c˜ao O que ´e o RSelenium? O RSelenium ´e um pacote no R que permite a manipula¸c˜ao de browsers de internet (Chrome, Firefox, Explorer) por meio de um aplicativo externo em Java. O Selenium ´e um projeto utilizado em diversas linguagens de programa¸c˜ao. Mais informa¸c˜oes podem ser encontradas no manual. http://cran.r-project.org/web/packages/RSelenium/RSelenium.pdf Daniel Marcelino RSelenium 07 de junho de 2015 3 / 32
- 4. Introdu¸c˜ao Para utilizar o RSelenium ´e necess´ario instalar o pacote ”RSelenium” e atualizar o aplicativo externo em Java que o pacote utiliza. Felizmente isso pode ser realizado dentro do R: ## Programa¸c~ao para instala¸c~ao e atualiza¸c~ao do RSelenium install.packages(’RSelenium’) require(’RSelenium’) RSelenium::checkForServer() (O pacote s´o funciona para vers˜oes do R acima da 3.1.0) Daniel Marcelino RSelenium 07 de junho de 2015 4 / 32
- 5. Selenium Server Caso deseje abrir o browser na mesma m´aquina, ´e necess´ario utilizar um server do Selenium. ## Programa¸c~ao para abrir o servidor local do RSelenium RSelenium::checkForServer() RSelenium::startServer() remDr <- remDr <- remoteDriver(remoteServerAddr = "localhost" , port = 4444 , browserName = "firefox" ) remDr$open() A programa¸c˜ao iniciar´a um browser (Firefox por padr˜ao) que poder´a ser controlado por comandos em sua sess˜ao do R. Daniel Marcelino RSelenium 07 de junho de 2015 5 / 32
- 6. Selenium Server O aplicativo baixado pelo comando checkForServer() pode ser encontrado neste LINK, e instalado manualmente na sua pasta de pacotes do R. ´E poss´ıvel modificar o browser utilizado (para Chrome, etc...). Para isso ´e necess´ario a instala¸c˜ao de extens˜oes dispon´ıveis na internet, elas n˜ao s˜ao instaladas por padr˜ao. No IPEA ´e necess´ario pedir para atualizarem manualmente o aplicativo pois o downlaod autom´atico ´e bloqueado. Ap´os o iniciado o browser, algumas vezes ´e necess´ario acessar alguma p´agina qualquer manualmente para que os comandos via R comecem a funcionar (N˜ao sei o motivo). Daniel Marcelino RSelenium 07 de junho de 2015 6 / 32
- 7. Selenium Server Ap´os iniciado server, para obter informa¸c˜oes sobre o servidor e da conex˜ao, basta utilizar a fun¸c˜ao: ## Fun¸c~ao retorna status da conex~ao remDr$getStatus() Daniel Marcelino RSelenium 07 de junho de 2015 7 / 32
- 8. Comandos B´asicos Os comandos a seguir s˜ao os comandos b´asicos para navega¸c˜ao utilizando o browser do RSelenium: ## Fun¸c~ao diz um endere¸co para o browser acessar remDr$navigate("http://www.google.com") ## Diz qual a p´agina que o browser est´a no momento remDr$getCurrentUrl() ## Retorna para a p´agina anterior do browser remDr$goBack() ## Avan¸ca para a ´ultima tela acessada pelo browser remDr$goForward() ## Carrega novamente a p´agina atual remDr$refresh() Daniel Marcelino RSelenium 07 de junho de 2015 8 / 32
- 9. Estrutura B´asica O Modelo de Objeto de Documento (do inglˆes Document Object Model - DOM) ´e uma conven¸c˜ao multiplataforma e independente de linguagem para representa¸c˜ao e intera¸c˜ao com objetos em documentos HTML, XHTML e XML. Para realizar extra¸c˜oes de p´aginas com esse formato, ´e necess´ario entender como ele ´e organizado. Daniel Marcelino RSelenium 07 de junho de 2015 9 / 32
- 10. Estrutura B´asica Se vocˆe acessar a p´agina do Google, ver´a que o c´odigo da p´agina segue esse modelo. Inspecionando a barra de busca vocˆe ver´a o seguinte c´odigo: Figura: C´odigo da barra de busca Daniel Marcelino RSelenium 07 de junho de 2015 10 / 32
- 11. Estrutura B´asica A forma mais comum de se procurar alguma informa¸c˜ao em um DOM ´e utilizando alguma das seguintes estruturas: id class css-selector name xpath O comando no R para buscar um objeto com algum desses caminhos ´e: ## Fun¸c~ao para buscar um objeto na p´agina webElem <- remDr$findElement() Daniel Marcelino RSelenium 07 de junho de 2015 11 / 32
- 12. Estrutura B´asica - id Id’s s˜ao ´unicos para cada elemento de uma p´agina, ent˜ao um id se refere a apenas um objeto na p´agina. Vocˆe pode identificar o id de um objeto inspecionando o mesmo e procurando em seu c´odigo. Figura: C´odigo id Daniel Marcelino RSelenium 07 de junho de 2015 12 / 32
- 13. Estrutura B´asica - id O c´odigo para buscar o elemento na p´agina seria ent˜ao: ## Fun¸c~ao para buscar um objeto na p´agina webElem <- remDr$findElement(using = "id", "lst-ib") Daniel Marcelino RSelenium 07 de junho de 2015 13 / 32
- 14. Estrutura B´asica - class Vocˆe tamb´em pode identificar um objeto por sua class. Um objeto pode possuir m´ultiplas classes. Figura: C´odigo class Daniel Marcelino RSelenium 07 de junho de 2015 14 / 32
- 15. Estrutura B´asica - class O c´odigo para buscar o elemento na p´agina seria ent˜ao: ## Fun¸c~ao para buscar um objeto na p´agina webElem <- remDr$findElement(using = "class name", "gsfi") Daniel Marcelino RSelenium 07 de junho de 2015 15 / 32
- 16. Estrutura B´asica - css-selector Os css-selectors podem ser usados para identificar objetos com mesmos parentes. “#” ´e utilizado para caminhos de id e “.” para caminhos de class. Figura: C´odigo css-selector Daniel Marcelino RSelenium 07 de junho de 2015 16 / 32
- 17. Estrutura B´asica - css-selector O c´odigo para buscar o elemento na p´agina seria ent˜ao: ## Fun¸c~ao para buscar um objeto na p´agina webElem <- remDr$findElement(using = "css selector", "#lst-ib") Mais dicas sobre css-selectors podem ser encontradas aqui. Daniel Marcelino RSelenium 07 de junho de 2015 17 / 32
- 18. Estrutura B´asica - name N˜ao ´e muito comum a utiliza¸c˜ao de names na busca de um objeto, pois v´arios objetos podem possuir o mesmo name, dificultando a identifica¸c˜ao. Figura: C´odigo name Daniel Marcelino RSelenium 07 de junho de 2015 18 / 32
- 19. Estrutura B´asica - name O c´odigo para buscar o elemento na p´agina seria ent˜ao: ## Fun¸c~ao para buscar um objeto na p´agina webElem <- remDr$findElement(using = "name", "q") Daniel Marcelino RSelenium 07 de junho de 2015 19 / 32
- 20. Estrutura B´asica - xpath O meio mais utilizado para busca de objetos ´e o xpath pois pode ser facilmente obtido e indica diretamente o objeto que se deseja. Figura: C´odigo xpath Daniel Marcelino RSelenium 07 de junho de 2015 20 / 32
- 21. Estrutura B´asica - xpath O c´odigo para buscar o elemento na p´agina seria ent˜ao: ## Fun¸c~ao para buscar um objeto na p´agina webElem <- remDr$findElement(using = "xpath", "//*[@id=’lst-ib’]") Daniel Marcelino RSelenium 07 de junho de 2015 21 / 32
- 22. Estrutura B´asica - Atributos Caso vocˆe identifique o objeto de interesse, ´e poss´ıvel verificar seus outros atributos por meio do comando “webElem$getElementAttribute()”: ## Fun¸c~ao para obter os atributos de um objeto webElem$getElementAttribute("class") webElem$getElementAttribute("type") webElem$getElementAttribute("name") webElem$getElementAttribute("id") Isso ´e ´util caso vocˆe identifique o objeto por um atributo mas deseje utilizar outro. Daniel Marcelino RSelenium 07 de junho de 2015 22 / 32
- 23. Manipula¸c˜ao da p´agina Ap´os identificado um objeto de interesse, vocˆe pode querer interagir com ele, seja enviando um texto ou selecionando uma op¸c˜ao. O RSelenium torna poss´ıvel essa intera¸c˜ao. O comando “webElem$sendKeysToElement” envia uma a¸c˜ao para seu objeto selecionado: ## Fun¸c~ao enviar a¸c~ao remDr$navigate("http://www.google.com/") webElem <- remDr$findElement(using = "xpath", "//*[@id=’lst-ib’]") webElem$sendKeysToElement(list("IPEA")) Esse comando escrever´a “IPEA” na barra de texto do Google. Daniel Marcelino RSelenium 07 de junho de 2015 23 / 32
- 24. Manipula¸c˜ao da p´agina Vocˆe pode desejar enviar a¸c˜oes que n˜ao sejam texto, por exemplo, pressionar “Enter”. O quadro abaixo mostra a rela¸c˜ao de todos os c´odigos relacionados a uma tecla. Figura: Comandos Daniel Marcelino RSelenium 07 de junho de 2015 24 / 32
- 25. Manipula¸c˜ao da p´agina Ent˜ao para escrever “IPEA” e pressionar “Enter”, ´e necess´ario o seguinte comando: ## Fun¸c~ao enviar a¸c~ao remDr$navigate("http://www.google.com/") webElem <- remDr$findElement(using = "xpath", "//*[@id=’lst-ib’]") webElem$sendKeysToElement(list("IPEA", "uE007")) Pois “uE007” ´e o c´odigo associado a tecla “Enter” Daniel Marcelino RSelenium 07 de junho de 2015 25 / 32
- 26. Identificando diversos elementos Se quisermos agora verificar os nomes que aparecem no resultado da busca, veja que teremos diversos “blocos”, onde cada bloco ´e um dos resultados da pesquisa. Figura: Nomes Daniel Marcelino RSelenium 07 de junho de 2015 26 / 32
- 27. Identificando diversos elementos Veja que cada bloco est´a aninhado em <li class = ”g”> e o texto em <h3 class = ”r”>, como o link se encontra no a ´e necess´ario acess´a-lo tamb´em. Ent˜ao ´e necess´ario acessar cada um desses blocos para obter os nomes que desejamos: ## Fun¸c~ao identificar textos webElems <- remDr$findElements(using = ’css selector’, "li.g h3.r a") resHeaders <- unlist(lapply(webElems, function(x){x$getElementText()})) resHeaders Veja que como o objeto “webElems” agora ´e uma lista, pois possui cada bloco separado. Para obtermos o texto que est´a em cada bloco utilizamos o comando “getElementText()” em cada elemento da lista com a fun¸c˜ao lapply. Daniel Marcelino RSelenium 07 de junho de 2015 27 / 32
- 28. Identificando diversos elementos A programa¸c˜ao nos retorna o seguinte resultado: Figura: Resultado da fun¸c˜ao Daniel Marcelino RSelenium 07 de junho de 2015 28 / 32
- 29. Clicar em um elemento Digamos que nosso interesse seja acessar a p´agina de chamadas p´ublicas do IPEA, ent˜ao precisamos selecionar o elemento de chamadas p´ublicas e clicar nele com a fun¸c˜ao “clickElement()”: ## Fun¸c~ao clicar webElem <- webElems[[which(resHeaders == "Chamadas P´ublicas")]] webElem$clickElement() Daniel Marcelino RSelenium 07 de junho de 2015 29 / 32
- 30. Clicar em um elemento Seguindo a mesma l´ogica, ´e simples acessar os links de chamadas p´ublicas do IPEA: #Identificar os nomes da busca no site do IPEA webElems <- remDr$findElements(using = ’css selector’, "div#conteudo p a") resHeaders <- unlist(lapply(webElems, function(x){x$getElementText()})) #Clicar nas chamadas mais recentes webElem <- webElems[[1]] webElem$clickElement() #Selecionar uma chamada webElems <- remDr$findElements(using = ’css selector’, "div#conteudo li a") resHeaders <- unlist(lapply(webElems, function(x){x$getElementText()})) webElem <- webElems[[1]] webElem$clickElement() Daniel Marcelino RSelenium 07 de junho de 2015 30 / 32
- 31. Clicar em um elemento Para fazer download do PDF da chamada ´e necess´ario pegar o link e utilizar o comando interno do R “download.file()”: #Identificar PDF webElems <- remDr$findElements(using = ’css selector’, "div#conteudo p a") resHeaders <- unlist(lapply(webElems, function(x){x$getElementAttribute(’href’)})) #Download do PDF download.file(resHeaders[1],’Chamada.pdf’,mode=’wb’) Vocˆe pode definir o nome que quiser e o local que deseja salvar o PDF. Daniel Marcelino RSelenium 07 de junho de 2015 31 / 32
- 32. Clicar em um elemento Este foi um tutorial ensinando o b´asico para utilizar o RSelenium, mais informa¸c˜oes podem ser encontradas no help e neste site que utilizei como base para este tutorial. Link Qualquer d´uvida ou corre¸c˜ao me mandar um e-mail: daniel.silva@ipea.gov.br Daniel Marcelino RSelenium 07 de junho de 2015 32 / 32