Big data e agile analytics
6 gostaram1,309 visualizações
O documento discute a importância de big data e agile analytics para as empresas diante de desafios como competição crescente e mudanças rápidas no mercado. Propõe que a combinação de ferramentas e métodos de análise permite tomar decisões mais informadas e resolver problemas complexos. Enfatiza a necessidade de inovação na abordagem analítica, sugerindo que soluções simples podem ser eficazes antes de recorrer a técnicas mais sofisticadas.
Big data e agile analytics
- 1. Big Data e Agile Analytics @lucabastos ThoughtWorks
- 2. O Mercado hoje precisa de analíticos
- 3. Os líderes estão sob pressão crescente para tomar as decisões certas e fazer previsões para seus negócios.
- 4. Estagnação, competição global crecente, mercado que se modifica rápido, redução de margens de lucro.
- 5. Alguns ramos industriais que eram antes eram poderosos estão quase em colapso. Exemplo: imprensa tradicional.
- 6. É preciso aumentar a retenção dos clientes e a participação no mercado.
- 7. É preciso medir, aprender.
- 8. A combinação de BigData com Agile Analytics promete ser a solução.
- 9. O que é Big Data?
- 10. Para mim Big Data são dados cujo tamanho são parte do problema
- 11. Agile Analytics
- 12. Do que estamos falando?
- 13. Conjunto de ferramentas e métodos
- 14. Conjunto de ferramentas e métodos que visa perceber padrões e extrair visões
- 15. Conjunto de ferramentas e métodos que visa perceber padrões e extrair visões a partir de registros de observações e dados de exemplos ou experiências passadas.
- 16. Para quê é usado
- 17. Web mining Decisões que envolvem julgamento Examinar imagens (screening) Previsões Diagnósticos Análises de marketing e de vendas
- 18. Afinal, que diabo é isso?
- 19. A arte de fazer as questões certas.
- 20. A ciência de usar dados para encontrar as respostas.
- 21. A coragem de agir sobre as evidências e sobre os dados mesmo quando contraria o senso comum e os conceitos previamente estabelecidos.
- 22. Alguns tipos de problemas que podemos resolver
- 23. Agrupar coisas relacionadas -‐ clustering
- 24. Agrupar coisas relacionadas -‐ clustering
- 25. Agrupar coisas relacionadas -‐ clustering
- 26. Agrupar coisas relacionadas -‐ clustering Não supervisionado
- 27. Exemplo de clustering: Linkedin, Skills & Expertise: http://www.linkedin.com/skills/skill/Machine_Learning?trk=skills-‐hp-‐search
- 28. Previsões Se dividem de acordo com a tarefa que faz: Classificação – prevê resultados qualitativos discretos do tipo S/N, morre/sobrevive Regressão – prevê resultados quantitativos
- 29. Classificação consiste em rotular um input baseado em dados previamente vistos Filtro anti spam Identificação de linguagem Detecção de rosto (você conhece o rosto)
- 33. Recomendações
- 34. Detecção de anomalias Reconhecer padrão de intrusão Resolver ambiguidades Fraudes financeiras
- 35. Por que chamar de Agile Analytics?
- 37. Collective Intelligence Parece que há um esforço coletivo de inteligência quando na verdade os dados podem vir de fontes não exatamente das mais inteligentes
- 38. Collective Intelligence Prefiro não usar o termo genérico Collective Intelligence.
- 40. Predictive Analytics Na verdade a técnicas usadas nesta área de conhecimento vão muito além de análise preditiva.
- 41. Predictive Analytics Prefiro não usar o termo genérico Predictive Analytics.
- 42. Machine Learning Permite uma discussão filosófica. Muita gente não aceita que máquinas sejam capazes de aprender.
- 43. Machine Learning
- 44. Machine Learning É o termo mais usado mas em geral subentende uso de algoritmos complexos que nem sempre são necessários.
- 45. Machine Learning Permite uma discussão filosófica.
- 46. Machine Learning Muita gente não aceita que máquinas sejam capazes de aprender. Wittgenstein, Waldemar Setzer e outros
- 47. Machine Learning Talvez não seja “politicamente correto” usar o termo genérico Machine Learning.
- 48. Agile Analytics Vou justificar o termo com exemplos e citações
- 49. DJ Patil Data Scientist -‐ Greylock Partners, ex eBay e ex LinkedIn
- 50. DJ Patil Data Scientist -‐ Greylock Partners, ex eBay e ex LinkedIn “Try to be clever before you do the heavyweight work”
- 51. DJ Patil Antes de começar o trabalho duro usando algoritmos sofisticados de classificação ou information retrieval, é preciso observar os dados e ver se é possível encontrar um ponto de partida mais a frente para começar a iterar.
- 52. Hilary Mason Data Scientist -‐ bitly Nem sempre devemos a usar um tipo de armazenamento sofisticado para arquivos grandes de dados. Às vezes basta um arquivo .txt ou .csv.
- 53. As primeiras ferramentas que devemos experimentar são as de linha de comando do Linux: cat, grep, head, tail, awk, find, xargs, sort, wc, etc..
- 54. As primeiras ferramentas que devemos experimentar são as de linha de comando do Linux: cat, grep, head, tail, awk, find, xargs, sort, wc, etc.. E não esquecer recursos gráficos do gnuplot.
- 55. É isso!