Aula WebCrawlers com Regex - PyCursos
1 gostou1,486 visualizações
O documento descreve como construir um webcrawler para rastrear encomendas usando Python e expressões regulares. Primeiro, ele explica como fazer o download da página HTML com os dados de rastreamento e extrair o conteúdo. Depois, ele discute como analisar o HTML baixado usando expressões regulares para obter as informações de status e localização da encomenda.
![Expressões Regulares
Representação formal de um autômato finito, com o objetivo de
determinar um padrão de texto.
^[0-9]+. [0-9]*|. [0-9]+$
Leitura atômica da esquerda para a direita
Python
Aula
Extra
5](https://image.slidesharecdn.com/aulaextra-webcrawlers-120605063656-phpapp01/85/Aula-WebCrawlers-com-Regex-PyCursos-5-320.jpg)
![Onde são aplicados ?
Busca
ou
validação
de
um
padrão
de
texto
que
pode
ser
variável
como
datas,
horários,
números
IP,
endereços,
dados
de
uma
coluna
N
de
texto,
dados
que
estão
entre
tags,
RG,
CPF,
cartão
de
crédito,
etc.
Como
achar
apenas
os
usuários
que
05:15
ernesto
acessaram
o
sistema
08:39
ricardo
No
período
da
tarde
(meio-‐dia
às
6)
?
10:32
patricia
14:59
gabriel
Resposta:
^1[2-‐8]
16:27
carla
22:23
marcelo
Python
Aula
Extra
6](https://image.slidesharecdn.com/aulaextra-webcrawlers-120605063656-phpapp01/85/Aula-WebCrawlers-com-Regex-PyCursos-6-320.jpg)
Aula WebCrawlers com Regex - PyCursos
- 1. WebCrawlers com Python e Regex Marcel Pinheiro Caraciolo Python Aula Extra 1
- 2. O que são webcrawlers ? WebCrawlers são programas de computador que percorrem a internet de forma automa>zada e metódica. Também chamados de bots ou spiders, são muito u>lizados em sites de busca como Google para indexar as páginas web em sua base de dados. Arquitetura de um WebCrawler Python Aula Extra 2
- 3. O que são expressões regulares ? Chamado também de regex ou regexp Ferramenta eficiente para processamento de palavras em texto por meio de casamento de padrões Linguagem formal que pode ser interpretada por um processador de expressões regulares ou por um programa que iden>fica partes do texto que “casam” com uma especificação provida. -‐ Wikipedia Python Aula Extra 3
- 4. O que são expressões regulares ? Também podemos afirmar que é: • Uma maneira de procurar um texto que você não lembra exatamente como é, mas tem ideia das variações possíveis; • Uma maneira de procurar um trecho em posições específicas como no começo ou no fim de uma linha, ou palavra; • Uma maneira de um programador especificar padrões complexos que podem ser procurados e casados em uma cadeia de caracteres; Python Aula Extra 4
- 5. Expressões Regulares Representação formal de um autômato finito, com o objetivo de determinar um padrão de texto. ^[0-9]+. [0-9]*|. [0-9]+$ Leitura atômica da esquerda para a direita Python Aula Extra 5
- 6. Onde são aplicados ? Busca ou validação de um padrão de texto que pode ser variável como datas, horários, números IP, endereços, dados de uma coluna N de texto, dados que estão entre tags, RG, CPF, cartão de crédito, etc. Como achar apenas os usuários que 05:15 ernesto acessaram o sistema 08:39 ricardo No período da tarde (meio-‐dia às 6) ? 10:32 patricia 14:59 gabriel Resposta: ^1[2-‐8] 16:27 carla 22:23 marcelo Python Aula Extra 6
- 7. Construindo um Crawler - Correios Os Correios brasileiro possui um website que provê o rastreamento de encomendas via sedex, carta registrada, pac, etc. Este site é gratuito e informa o status atual da encomenda, isto é, se já foi entregue, se já foi enviado e por qual localidade ou agência se encontra. Python Aula Extra 7
- 8. Nesta aula aprenderemos Como podemos construir um simples webcrawler usando expressões regulares para rastreamento de encomendas usando Python. Python Aula Extra 8
- 9. Disclaimer!! Esta aula tem como obje>vo apenas fins didá>cos a construção deste crawler; De hipotése alguma incen>vamos o uso indevido ou PAGO desta ferramenta. Os dados são públicos!!! N ã o n o s r e s p o n s a b i l i z a m o s p e l o u s o inapropriado deste crawler. Recomendo inclusive u>lizar as ferramentas fornecidas pelo site oficial dos correios brasileiros; Python Aula Extra 9
- 10. Construindo o Downloader O Primeiro passo é construir o mecanismo de fazer o download do resultado dos correios após a consulta do código de rastreamento como parâmetro. hmps://gist.github.com/2866283 Python Aula Extra 10
- 11. Construindo o Downloader Adicionando a extração do html por meio do módulo urllib em python. hmps://gist.github.com/2866483 Python Aula Extra 11
- 12. Construindo o Downloader Resultado da primeira etapa: <table border cellpadding=1 hspace=10> <colgroup style='font:8pt Tahoma;color=Black' valign=top><colgroup style='font:8pt Tahoma; color=Navy'><colgroup style='font:8pt Tahoma;color=Maroon'> <tr> <td><font FACE=Tahoma color='#CC0000' size=2><b>Data</b></font></td> <td><font FACE=Tahoma c olor='#CC0000' size=2><b>Local</b></font></td> <td><font FACE=Tahoma c olor='#CC0000' size=2><b>Situa??o</b></font></td> </tr> <tr><td rowspan=1>25/04/2012 17:36</td><td>CDD CACOAL -‐ CACOAL/RO</td><td><FONT COLOR="5F9F9F">Entrega Efetuada</font></td></tr> <tr><td rowspan=1>25/04/2012 09:04</td><td>CDD CACOAL -‐ CACOAL/RO</td><td><FONT COLOR="007FFF">Saiu para entrega</font></td></tr> <tr><td rowspan=2>23/04/2012 12:46</td><td>CTCE PORTO VELHO -‐ PORTO VELHO/RO</td><td><FONT COLOR="000000">Encaminhado</font></td></tr> <tr><td colspan=2>Em tr?nsito para CDD CACOAL -‐ CACOAL/RO</td></tr> <tr><td rowspan=2>19/04/2012 14:55</td><td>CTE SAUDE -‐ SAO PAULO/SP</td><td><FONT COLOR="000000">Encaminhado</font></td></tr> <tr><td colspan=2>Encaminhado para CTCE PORTO VELHO -‐ PORTO VELHO/RO</td></tr> <tr><td rowspan=1>18/04/2012 21:38</td><td>CTE SAUDE/GCCAP -‐ SAO PAULO/SP</td><td><FONT COLOR="000000">Postado</font></td></tr> <tr><td rowspan=2>18/04/2012 19:11</td><td>CEE MOEMA -‐ SAO PAULO/SP</td><td><FONT COLOR="000000">Encaminhado</font></td></tr> <tr><td colspan=2>Em tr?nsito para CTE SAUDE -‐ SAO PAULO/SP</td></tr> </TABLE> Python Aula Extra 12
- 13. Construindo o Downloader O Módulo re permite a construção de expressões regulares. O nosso obje>vo é extrair a tabela com os status das encomendas. Retorna tudo entre as tags <table> </TABLE> hmps://gist.github.com/2872334 Python Aula Extra 13
- 14. Construindo o Downloader Resultado da segunda etapa: <table border cellpadding=1 hspace=10> <colgroup style='font:8pt Tahoma;color=Black' valign=top><colgroup style='font:8pt Tahoma; color=Navy'><colgroup style='font:8pt Tahoma;color=Maroon'> <tr> <td><font FACE=Tahoma color='#CC0000' size=2><b>Data</b></font></td> <td><font FACE=Tahoma c olor='#CC0000' size=2><b>Local</b></font></td> <td><font FACE=Tahoma c olor='#CC0000' size=2><b>Situa??o</b></font></td> </tr> <tr><td rowspan=1>25/04/2012 17:36</td><td>CDD CACOAL -‐ CACOAL/RO</td><td><FONT COLOR="5F9F9F">Entrega Efetuada</font></td></tr> <tr><td rowspan=1>25/04/2012 09:04</td><td>CDD CACOAL -‐ CACOAL/RO</td><td><FONT COLOR="007FFF">Saiu para entrega</font></td></tr> <tr><td rowspan=2>23/04/2012 12:46</td><td>CTCE PORTO VELHO -‐ PORTO VELHO/RO</td><td><FONT COLOR="000000">Encaminhado</font></td></tr> <tr><td colspan=2>Em tr?nsito para CDD CACOAL -‐ CACOAL/RO</td></tr> <tr><td rowspan=2>19/04/2012 14:55</td><td>CTE SAUDE -‐ SAO PAULO/SP</td><td><FONT COLOR="000000">Encaminhado</font></td></tr> <tr><td colspan=2>Encaminhado para CTCE PORTO VELHO -‐ PORTO VELHO/RO</td></tr> <tr><td rowspan=1>18/04/2012 21:38</td><td>CTE SAUDE/GCCAP -‐ SAO PAULO/SP</td><td><FONT COLOR="000000">Postado</font></td></tr> <tr><td rowspan=2>18/04/2012 19:11</td><td>CEE MOEMA -‐ SAO PAULO/SP</td><td><FONT COLOR="000000">Encaminhado</font></td></tr> <tr><td colspan=2>Em tr?nsito para CTE SAUDE -‐ SAO PAULO/SP</td></tr> </TABLE> Python Aula Extra 14
- 15. Construindo o Downloader Mas precisamos extrair estas linhas <table border cellpadding=1 hspace=10> <colgroup style='font:8pt Tahoma;color=Black' valign=top><colgroup style='font:8pt Tahoma; color=Navy'><colgroup style='font:8pt Tahoma;color=Maroon'> <tr> <td><font FACE=Tahoma color='#CC0000' size=2><b>Data</b></font></td> <td><font FACE=Tahoma c olor='#CC0000' size=2><b>Local</b></font></td> <td><font FACE=Tahoma c olor='#CC0000' size=2><b>Situa??o</b></font></td> </tr> <tr><td rowspan=1>25/04/2012 17:36</td><td>CDD CACOAL -‐ CACOAL/RO</td><td><FONT COLOR="5F9F9F">Entrega Efetuada</font></td></tr> <tr><td rowspan=1>25/04/2012 09:04</td><td>CDD CACOAL -‐ CACOAL/RO</td><td><FONT COLOR="007FFF">Saiu para entrega</font></td></tr> <tr><td rowspan=2>23/04/2012 12:46</td><td>CTCE PORTO VELHO -‐ PORTO VELHO/RO</ td><td><FONT COLOR="000000">Encaminhado</font></td></tr> <tr><td colspan=2>Em tr?nsito para CDD CACOAL -‐ CACOAL/RO</td></tr> <tr><td rowspan=2>19/04/2012 14:55</td><td>CTE SAUDE -‐ SAO PAULO/SP</td><td><FONT COLOR="000000">Encaminhado</font></td></tr> <tr><td colspan=2>Encaminhado para CTCE PORTO VELHO -‐ PORTO VELHO/RO</td></tr> <tr><td rowspan=1>18/04/2012 21:38</td><td>CTE SAUDE/GCCAP -‐ SAO PAULO/SP</ td><td><FONT COLOR="000000">Postado</font></td></tr> <tr><td rowspan=2>18/04/2012 19:11</td><td>CEE MOEMA -‐ SAO PAULO/SP</td><td><FONT COLOR="000000">Encaminhado</font></td></tr> <tr><td colspan=2>Em tr?nsito para CTE SAUDE -‐ SAO PAULO/SP</td></tr> </TABLE> Python Aula Extra 15
- 16. Construindo o Parser O próximo passo é construirmos o parser que irá extrair os dados das encomendas. Uma boa dica é ir extraindo por partes de nossa tabela. hmps://gist.github.com/2872517 Python Aula Extra 16
- 17. Construindo uma simples Storage - API Para armazenamento vamos expor o status da nossa encomenda no formato JSON para ser disponibilizada por exemplo no futuro em uma webservice! hmps://gist.github.com/2872533 Python Aula Extra 17
- 18. Construindo uma simples Storage - API Resposta do script: $ python correios.py PH058838637BR status {"data": "25/04/2012 17:36", "local": "CDD CACOAL -‐ CACOAL/RO", "situacao": "Entrega Efetuada"} Python Aula Extra 18
- 19. Extra: Webservice com Flask! Podemos construir rapidamente um simples servidor web para servir esta mini API REST! hmps://gist.github.com/2872583 hmp://127.0.0.1:5000/track/PH058838637BR Flask é um micro-‐framework web e pode ser baixado em : hFp://flask.pocoo.org/ Python Aula Extra 19
- 20. WebCrawlers com Python e Regex Marcel Pinheiro Caraciolo Python Aula Extra 20