[TDC2019] Inteligência Artificial e Testes in a Nutshell

Inteligência Artiﬁcial e Testes
in a Nutshell
Antonio Montanha Júlio de Lima
c/juliodelimasammontanha@gmail.com

@Capco @Capco

Resolver problemas que não
são fáceis de resolver de
maneira convencional

Resolver problemas que não
são fáceis de resolver de
maneira convencional
E a academia e o mercado,
como andam?

Criação Automática
de Testes
Academia
Geração de Massa de
Dados de Teste
Identiﬁcação de Testes
Flaky

EvoSuite
Mercado
applitools
test.ai

…, neurônios, redes neurais,
algoritmos genéticos, aprendizado
supervisionado, não supervisionado,
por reforço…

…, neurônios, redes neurais,
algoritmos genéticos, aprendizado
supervisionado, não
supervisionado, por reforço…

Reconhecimento
de padrões
O que você vê aqui?

Isso é o que a
máquina vê!
O que você vê aqui?

[TDC2019] Inteligência Artificial e Testes in a Nutshell

Reconhecimento
automático de elementos
em testes mobile

“Ow dev, tem como
você colocar um unique
ID nesse elemento, que
ta difícil viu”
“Cara, mudaram a
tela, vai ter que
mapear tudo de novo”
“Vamos ter que mudar a
linguagem do App, se
prepara para hora extra
para refatorar teste”
“Serio que você
precisa ir em cada
botãozinho cada vez
que vai mapear algo?”

Habilitando o classificador de IA

Identificando de forma
convencional
Identificando com IA

"Mas então isso ai é a
solução de todos meus
problemas!"

Não, essa é uma
solução para um dos
seus problemas!

Machine Learning e
Testes de Performance

Analisar dados de resultados de
teste de carga é uma atividade
onerosa, lenta e dependente da
ferramenta de testes que se usa

Analisar dados de resultados de
teste de carga é uma atividade
onerosa, lenta e dependente da
ferramenta de testes que se usa
Analisar dados
Logs, Infra ou Requisições

INTRODUÇÃO Analisar dados de resultados de teste
de carga é uma atividade onerosa,
lenta e dependente da ferramenta de
testes que se usa. A análise pode ser
baseada na análise de logs da
aplicação, da infraestrutura ou
dos dados obtidos a partir dos
usuários que executam os testes,
como vemos abaixo:

Haha!
Essa é fácil!
Foi o tempo de
resposta!
Será?

Um teste de carga executado teve
duração total de 1 hora e teve 50
usuários virtuais simultâneos
executando o cenário de login.

Dataset composto por 294.554
mil observações (registros) foi o
resultado do teste de carga
executado no Apache JMeter.

What!? 
294.554 mil resultados do
teste!?
Como identiﬁcar falhas aí?

elapsed label responseCode dataType success bytes sentBytes grpThreads allThreads URL Latency IdleTime Connect
203 Acessando o site 200 TRUE 7423 375 21 21 null 0 4 0
203 Acessando a página inicial 200 text TRUE 7423 375 21 21 http://10.125.137.26/ 188 0 25
526 Fazendo o login 200 TRUE 8168 2932 77 77 null 0 3 0

Pré-Processamento
de Dados
i) Registros redundantes foram
removidos, fazendo com que o número
de 294.554 instâncias fosse
reduzido a 196.335; 
ii) Os atributos de identiﬁcação foram
ignorados e apenas o seguintes foram
utilizados nos experimentos: elapsed,
bytes, sentBytes, Latency e
Connect; 
iii) Os dados mencionados foram
normalizados entre a faixa de 0 a 1.

K-means
Um algoritmo de
agrupamento
(Clusterização) que tem
o objetivo de identiﬁcar
grupos de observações
semelhantes com base na
média.

Deﬁnimos, empiricamente, que
queremos saber como seria se houvesse
uma separação do dataset em 6 grupos
de informações semelhantes:
Table 1
Cluster Observações Distribuição
0 5472 3%
1 19119 10%)
2 79035 40%)
3 871 0%)
4 48549 25%)
5 43309 22%)
O grupo mais
distante, demonstra
ser observações que
fogem ao padrão,
vou investigá-lo!
Rodando o
K-means

responseMessage Quantidade
OK 50
Non HTTP response message:
157.230.233.185:80 failed to respond
761
Non HTTP response message: Connect to
157.230.233.185:80 [/157.230.233.185]
failed: Operation timed out (Connection timed
out)
9
Non HTTP response message: Operation timed
out (Read failed)
1
Non HTTP response message: Socket closed 50
Dado a alta carga de
utilização, o servidor
falhou 761 vezes ao
tentar responder.
Analisando o
Cluster

Analisando o
Cluster
Medida Tempo de Resposta
Minimum 4490
Maximum 5454
Mean 4899.352
StdDev 93.515

Haha!
Essa é fácil!
Foi o tempo de
resposta!

Haha!
Essa é fácil!
Foi o tempo de
resposta!
A
indisponibilidade
do servidor
causou o maior
número de
falhas!

Referências
- https://www.joecolantonio.com/7-
innovative-ai-test-automation-tools-future-
third-wave/
- Ahmed E. Hassan e Zhen Ming Jiang
- Jason Arbor e Jonathan Lips

Dúvidas?
Antonio Montanha Júlio de Lima
c/juliodelimasammontanha@gmail.com

@Capco @Capco

[TDC2019] Inteligência Artificial e Testes in a Nutshell

Mais conteúdo relacionado

Semelhante a [TDC2019] Inteligência Artificial e Testes in a Nutshell (8)

Mais de Júlio de Lima (20)

Último (19)

[TDC2019] Inteligência Artificial e Testes in a Nutshell