Inteligencia artificial para classificação de texto e sentimento
5 gostaram1,610 visualizações
O documento discute a análise de texto e sentimento usando inteligência artificial. Ele explica como as técnicas de aprendizado de máquina podem classificar automaticamente grandes quantidades de texto em categorias como sentimento mais precisamente do que métodos manuais ou baseados em palavras-chave. Também discute desafios e tendências futuras como classificação em tempo real e previsão com base em modelos de aprendizado de máquina.
Inteligencia artificial para classificação de texto e sentimento
- 1. Inteligência Artificial para análise de texto e sentimento Inteligência Artificial para análise de texto e sentimento
- 2. Inteligência Artificial para análise de texto e sentimento2015 Antônio Marques Analista de Social Intelligence da dp6 Professor nas Casas Taiguara / CTC Digital @toninmineiro Linkedin.com/in/antoniomarques88 antonio.marques@dp6.com.br Apresentação Leonardo Naressi CIO da dp6 Professor na ESPM São Paulo @leonaressi Linkedin.com/in/LeoNaressi leo@dp6.com.br
- 3. Inteligência Artificial para análise de texto e sentimento2015 O problema: Transformar os textos em números Texto 3 Texto N Texto 2Texto 1 Categorias Sentimentos Tópicos Temas Padrões de classificação Classificação manual Categoria 1 Categoria 2 Categoria 3 Categoria N Transformando palavras em números Centenas, Milhares de menções, posts
- 4. Inteligência Artificial para análise de texto e sentimento2015 E gerar inteligência para nossas decisões
- 5. Inteligência Artificial para análise de texto e sentimento2015 Classificação Manual Regras automáticas (por palavras-chave, etc) Como fazemos atualmente?
- 6. Inteligência Artificial para análise de texto e sentimento2015 Mas podemos fazer melhor! Texto 3 Texto N Texto 2Texto 1 Centenas, Milhares de menções, posts Categoria 1 Categoria 2 Categoria 3 Categoria N Transformando palavras em números Classificação automática
- 7. Inteligência Artificial para análise de texto e sentimento2015 Primeiras técnicas utilizadas Método Supervisionado Programação neolinguística (NLP) Filtro por palavras-chave Análise semântica Base ontológica Utiliza algoritmos e estatística para avaliar o significado de palavras e suas relações em uma sentença Necessita de atualização da base de dados utilizada
- 8. Inteligência Artificial para análise de texto e sentimento2015 Machine Learning: computadores trabalhando como nós e para nós… k-Means Naive Bayes Árvores de decisão Singular Value Decomposition (SVD) Support Vector Machines (SVM) TF-IDF Semântica latente = Algoritmos e técnicas de Data Mining / Text Mining para processar conteúdo
- 9. Inteligência Artificial para análise de texto e sentimento2015 Que ferramentas estão disponíveis? Ferramentas Open-Source Ferramentas Comerciais Bibliotecas Open- Source
- 10. Inteligência Artificial para análise de texto e sentimento2015 Desafios da classificação de textos e documentos *Mais desafios em: A Review of Machine Learning Algorithms for Text-Documents Classification – A. Kahn, B. Baharudin, L. Hong Lee, K. Khan Tokenização, ou a correta divisão das frases em palavras simples ou compostas que façam sentido. “pau de selfie” Características do discurso, clareza da informação. Regionalismos, uai! Ironias, Sarcasmos e #sqn Contexto do conteúdo: político, econômico, social, midiático #meuamigosecreto Gramática e Sintaxe, normalização para agrupar sinônimos e erros de grafia. Manga, Manga e Mangá. Você, Voce e Vc Entidades do conteúdo: Hashtags, Geotags, Nomes, Links, etc http, checkins, #oqueeuquisdizernumahashtag
- 11. Inteligência Artificial para análise de texto e sentimento2015 E esse desafio?
- 12. Inteligência Artificial para análise de texto e sentimento Mas, vale a pena? Qual a taxa de acertos? É confiável?
- 13. Inteligência Artificial para análise de texto e sentimento2015 Vamos testar! Ferramenta de monitoramento
- 14. Inteligência Artificial para análise de texto e sentimento2015 Classificamos 1mil menções e comparamos: • Baseada em NLP Ferramenta de Monitoramento • NLP avançadoSemantria • Algoritmo de classificação em multi- categoriasGoogle Prediction Bases Históricas • Base1: 15 mil • Base2: 100mil Classificação • Sentimento em 4 classes • Positivo, Negativo, Neutro, Inválido
- 15. Inteligência Artificial para análise de texto e sentimento2015 Como fazer? Coleta de dados de redes sociais Amostragem aleatória Classificação humana da amostra Criação de Modelo Preditivo Treinamento do modelo com os dados classificados Validação da performance do Modelo Análise preditiva baseada no modelo
- 16. Inteligência Artificial para análise de texto e sentimento2015 Os Resultados Ferramenta de monitoramento Base: 2,6MM 14% Semantria (NLP) Análise semântica e ontológica – tamanho da base desconhecida 41% Google Prediction Base: 15mil 56% Google Prediction Base: 100mil 64% Tempo para classificação automática (1 mil menções): real-time Acurácia comparada à classificação manual Tempo para classificação manual (1 mil menções): 3 horas
- 17. Inteligência Artificial para análise de texto e sentimento2015 Tendências e o Futuro do Machine Learning em Social Para classificação • Maior agilidade na classificação • Pode alimentar dashboards em real- time • Precisão evolui a cada novo conteúdo Outros usos • Classificação de categorias • Extração de tópicos • Previsão de crises • Cálculo inteligente de alcance potencial
- 18. Inteligência Artificial para análise de texto e sentimento2015 dp6.bi/listening-prediction Quer testar também?
- 19. Bringing science to digital marketing Obrigado!