Introdução aos sistemas de recomendação usando Machine Learning

Notas do Editor

• #3: sub-campo da inteligência artificial focado em algoritmos e técnicas que permitam ao computador aperfeiçoar seu desempenho em uma tarefa (melhorar o resultado) raciocínio indutivo - extrai regras e padrões de grandes conjuntos de dados “ligado” à mineração de dados. O raciocínio dedutivo, chega a conclusões. Por exemplo, todo pássaro voa; papagaio é um pássaro. Logo papagaio voa. Diferença entre - mineração de dados descobre padrões e conhecimento previamente desconhecidos. aprendizado de máquina reproduz padrões e conhecimento conhecidos aplicado a novos dados Deep learning usa redes neurais para entender padrões mais complexos. Usado no reconhecimento de imagens, textos e voz, tradução automática, etc.
• #4: RH – gap de treinamentos, recomendar treinamentos, Acessar uma catraca em determinado momento fora do comum é um alerta de segurança? Uma pessoa que normalmente acessa alguns locais em um horário fora do comum acessa outro local? É um alerta? Carrinho: Verajo: um pedido pode ser um pgto de fraudulento? HelpDesk – perceber o tom da escrita dos chamados ou de uma ligação de voz? Busca dentro dos sistemas, “folha de pagamento” Carros dirigindo sozinho Medindo o que as pessoas estão dizendo nas redes sociais Deteccao de fraude em pgto Previsão de falhas em equipamentos na manutafura e logística, manutenção preventiva Recomhecimento de imagens Ronda de vigilantes, o vigia faz uma rota fora do comum – analise em tempo real.
• #6: O que são os sistemas de recomendação? Vamos ver uma introdução aos sistemas de recomendação... Onde uma das técnicas mais comuns utilizadas esta o Machine Learning.
• #7: Mail marketing Carrinho abandonado E-commerce Força de vendas Simulação de novos produtos
• #8: Classifica no supervisionado. Agrupa no não supervisionado. Dois métodos comuns usados em recomendação. http://www.sas.com/pt_br/insights/analytics/machine-learning.html http://pt.slideshare.net/AmazonWebServicesLATAM/webinar-amazon-machine-learning?qid=7a2f4a74-039e-44b9-a068-abaed06515fd&v=&b=&from_search=12 Supervisionado Não supervisionado Dados não rotulados Mostra uma imagem de maça mas não diz que aquilo é uma maça Supervisionado O sistema recebe um conjunto de dados que já se sabe a resposta correta. Controle de fraude – já houve casos positivos e negativos de fraude. Ele aprende com o histórico para prever o futuro. Previsa de casos positivos e negativos. KNN muito usado. Não supervisionado Segmentos de clientes parecidos para uma campanha de marketing Em pesquisas de texto Por Reforço Evolutivo -
• #9: Clientes não registrados
• #10: Clientes registrados
• #12: Primeiro passo é coletar dados.
• #13: - Geram recomendações de excelente qualidade Quase nunca avaliam. O algoritmo depende do usuário tomar uma ação. Avaliam quando gostam ou não gostam MUITO, apenas nos extremos. Normalmente consumimos um percentual pequeno do que tem disponível. E avaliamos menos ainda. Espacidade.
• #14: Simplesmente uso o serviço e ele vai coletando e armazenando informações.
• #15: Vantagens Vocês sabem quais informações suas estão sendo armazenadas? Não depende de ação extra do usuário Desvantagens - Amazon acha que eu gosto de livros sobre Guns N Roses e Peppa Pig. Se outro usuário gosta de Guns N Roses significa que também gosta de Peppa Pig? - Netlix acha que eu gosto de Breaking Bad e Peppa Pig Vantagens – criar a imagem acessando de um iphone e destacar as informações que podem ser coletadas dispositivo, resolução, pelo IP a cidade, histórico de navegação, o que poe no carrinho de compra. desenhar na mão. Spotify – o Spotify acha que eu gosto de Heavy Metal e Xuxa. Netflix – que eu gosto de Walking Dead e Pepa Pig Tecnica para evitar isso é excluir os extremos ou itens que tem poucas combinações.
• #16: Filtragem Colaborativa e Baseado em Conteúdo.
• #17: Tambem chamado de Baseado em Memória. Visão simplificada dos algoritmos.
• #18: Tambem chamado de Baseado em Memória.
• #19: Calculos de similaridade: coseno, distancia euclidiana, correlação do coeficiente de Pearson, coeficiente de jaccard Então usa o K-nn para descobrir os vizinhos mais próximos. ALS Tambem chamado de Baseado em Memória. O que os vizinhos mais próximos gostaram?
• #20: Montado uma lista de recomendações para o usuário.
• #21: Esparcidade – um usuário consome um percentual pequeno dos produtos, e avalia menos ainda.
• #22: Como melhorar.
• #23: Colocar a planilha do slide anterior simulando as vantagens e desvantagens. Esparcidade – um usuário consome um percentual pequeno dos produtos, e avalia menos ainda.
• #24: Colocar a planilha do slide anterior simulando as vantagens e desvantagens. Esparcidade – um usuário consome um percentual pequeno dos produtos, e avalia menos ainda.
• #25: Colocar a planilha do slide anterior simulando as vantagens e desvantagens. Esparcidade – um usuário consome um percentual pequeno dos produtos, e avalia menos ainda. Maior processamento – criar a matriz incluindo todos os usuários, quando alguém dá um voto teria que recalcular.
• #26: Colocar a planilha do slide anterior simulando as vantagens e desvantagens. Esparcidade – um usuário consome um percentual pequeno dos produtos, e avalia menos ainda.
• #31: De modo geral baseado em produto é melhor que o baseado em usuário. Amazon: ~353 milhões de produtos / 350 milhões de clientes ativos em 2015 Mais complexo para definir o modelo. Menos processamento, considerando que há mais clientes do que produtos. Menor esparcidade pois geralmente um produto vai ter mais clientes que um cliente vai ter de produtos. Cada item geralmente tem um ou mais clientes que compraram. Netflix tem 60000 produtos, spotify são 20 bilhões de produtos. Porque netflix não usa essa? Perfil impacta mais pra Netflix do que na Amazon. Na amazona produtos comprados juntos podem melhorar a venda. Resposta mais a frente em hibrida.
• #32: Recomenda itens baseados no histórico do usuário. Por exemplo, avaliando os atributos dos itens já consumidos para sugerir algo com as mesmas características. Recomenda itens baseados na pesquisa. Pesquisar por: DE + AMIGOS – sugere amigos primeiro pois tem maior peso. Ao pesquisar por humor Atributos dos itens: diretor, atores, Google AdSense usa baseado em conteúdo por exemplo no Gmail, baseado no conteúdo do email ou da pesquisa que está fazendo ou de um post em um blog. TF-IDF Term-frequency : qto mais o termo aparece maior a relevancia Inverse-Document-Frequency: qto mais aparicoes em outros documentos menor é a relevancia
• #33: Recomenda itens baseados no histórico do usuário. Por exemplo, avaliando os atributos dos itens já consumidos para sugerir algo com as mesmas características. Recomenda itens baseados na pesquisa. Pesquisar por: DE + AMIGOS – sugere amigos primeiro pois tem maior peso. Ao pesquisar por humor Atributos dos itens: diretor, atores, Google AdSense usa baseado em conteúdo por exemplo no Gmail, baseado no conteúdo do email ou da pesquisa que está fazendo ou de um post em um blog. TF-IDF Term-frequency : qto mais o termo aparece maior a relevancia Inverse-Document-Frequency: qto mais aparicoes em outros documentos menor é a relevancia
• #34: Novos usuários – até consumir ou pesquisar um primeiro produto.
• #35: Todos eles acabam usando mais de uma técnica em algum momento. Média ponderada é dado um peso para cada um.
• #36: Quantos itens diferentes (variedade) é recomendado nas Top-10 para os usuários? Variedade – não recomendar dois itens muito similares, colocar outro no lugar. MAE - Erro médio absoluto MSE - Erro Médio Quadrático RMSE - Raiz do Erro Médio Quadrático RMSE: Puv – avaliação recomendada para o item Ruv – avaliação real do usuário para o item N – quantidade de previsões feitas
• #38: Machine Learning as a Service
• #40: Outros, como taxa de churn, recomendação de musica, etc.
• #48: Convite