Construindo Soluções Científicas com Big Data & MapReduce
5 gostaram2,898 visualizações
Este documento resume as principais informações sobre o uso de MapReduce e Big Data. Em três frases: MapReduce é uma abordagem para processamento distribuído de grandes conjuntos de dados através de funções map e reduce. MrJob permite rodar trabalhos MapReduce em Python no Amazon EMR ou Hadoop de forma fácil. Exemplos mostram como usar MapReduce para recomendação de amigos em larga escala.
![Exemplo de MapReduce
from mrjob.job import MRJob
import re
WORD_RE = re.compile(r"[w']+")
class MRWordFreqCount(MRJob):
def mapper(self, _, line):
for word in WORD_RE.findall(line):
yield (word.lower(), 1)
def reducer(self, word, counts):
yield (word, sum(counts))
if __name__ == '__main__':
MRWordFreqCount().run()](https://image.slidesharecdn.com/mrjobapt-121124115724-phpapp01/85/Construindo-Solucoes-Cientificas-com-Big-Data-MapReduce-24-320.jpg)
![Atepassar Recommendations
http://atepassar.com
marcel;jonas,maria,jose,amanda "marcel" [["carol", 2], ["fabio", 1], ["fabiola", 1], ["patricia", 1], ["paula", 1]]
maria;carol,fabiola,amanda,marcel "maria" [["jose", 2], ["patricia", 2], ["jonas", 1], ["paula", 1]]
amanda;paula,patricia,maria,marcel "patricia" [["maria", 2], ["jose", 1], ["marcel", 1], ["paula", 1]]
carol;maria,jose,patricia "paula" [["jonas", 1], ["marcel", 1], ["maria", 1], ["patricia", 1]]
fabiola;maria "amanda" [["carol", 2], ["fabio", 1], ["fabiola", 1], ["jonas", 1], ["jose", 1]]
paula;fabio,amanda "carol" [["amanda", 2], ["marcel", 2], ["fabiola", 1]]
patricia;amanda,carol "fabio" [["amanda", 1], ["marcel", 1]]
jose;marcel,carol "fabiola" [["amanda", 1], ["carol", 1], ["marcel", 1]]
jonas;marcel,fabio "jonas" [["amanda", 1], ["jose", 1], ["maria", 1], ["paula", 1]]
fabio;jonas,paula "jose" [["maria", 2], ["amanda", 1], ["jonas", 1], ["patricia", 1]]
carla
$python friends_recommender.py - r emr --num-ec2-instances 5 facebook_data.csv > output.dat](https://image.slidesharecdn.com/mrjobapt-121124115724-phpapp01/85/Construindo-Solucoes-Cientificas-com-Big-Data-MapReduce-35-320.jpg)
![Atepassar Recommendations
http://atepassar.com
marcel;jonas,maria,jose,amanda "marcel" [["carol", 2], ["fabio", 1], ["fabiola", 1], ["patricia", 1], ["paula", 1]]
maria;carol,fabiola,amanda,marcel "maria" [["jose", 2], ["patricia", 2], ["jonas", 1], ["paula", 1]]
amanda;paula,patricia,maria,marcel "patricia" [["maria", 2], ["jose", 1], ["marcel", 1], ["paula", 1]]
carol;maria,jose,patricia
fabiola;maria
marcel;jonas,maria,jose,amanda 1], ["patricia", 1]]
"paula" [["jonas", 1], ["marcel", 1], ["maria",
"amanda" [["carol", 2], ["fabio", 1], ["fabiola", 1], ["jonas", 1], ["jose", 1]]
paula;fabio,amanda carol;maria,jose,patricia ["marcel", 2], ["fabiola", 1]]
"carol" [["amanda", 2],
patricia;amanda,carol
jose;marcel,carol
fabio;jonas,paula [["amanda", 1], ["marcel", 1]]
"fabio"
"fabiola" [["amanda", 1], ["carol", 1], ["marcel", 1]]
jonas;marcel,fabio ... "jonas" [["amanda", 1], ["jose", 1], ["maria", 1], ["paula", 1]]
fabio;jonas,paula "jose" [["maria", 2], ["amanda", 1], ["jonas", 1], ["patricia", 1]]
carla
$python friends_recommender.py - r emr --num-ec2-instances 5 facebook_data.csv > output.dat](https://image.slidesharecdn.com/mrjobapt-121124115724-phpapp01/85/Construindo-Solucoes-Cientificas-com-Big-Data-MapReduce-36-320.jpg)
![Projetos interessantes
Python & MongoDb
http://api.mongodb.org/python/2.0/examples/
map_reduce.html
MongoDb - Banco de Dados Não relacional (NoSQL)
Possui suporte nativo built-in para fazer MapReduce.
Escrever o código em JS e não é muito legível e fica preso ao
Mongo ...
>>> reduce = Code("function (key, values) {"
... " var total = 0;"
... " for (var i = 0; i < values.length; i++) {"
... " total += values[i];"
... " }"
... " return total;"
... "}")](https://image.slidesharecdn.com/mrjobapt-121124115724-phpapp01/85/Construindo-Solucoes-Cientificas-com-Big-Data-MapReduce-47-320.jpg)
Construindo Soluções Científicas com Big Data & MapReduce
- 1. Construindo Soluções Científicas com Big Data & MapReduce Marcel Caraciolo @marcelcaraciolo
- 2. Quem é Marcel ? Sergipano, porém recifense. Mestre em Ciência da Computação Co-founder Pingmind & PyCursos Cientista-Chefe do Atepassar.com Evangelista Python, programador e admirador das “ciências ocultas” providas pela Inteligência Artificial Escritor de blog: http://www.mobideia.com & http://aimotion.blogspot.com
- 3. Antes da Computação Da Computação Distribuída
- 4. Depois da Computação Da Computação Distribuída
- 5. Big Data, muitos dados. !"#$%"$#&'(')")( !"#$%&'(%$)*%+%),-+.),#$$) *#/(#*)01.#2%03) *$+,(!"#$%"$#&'(')")( !4'1-%$)*%+%5)6$'70)5)1$-18)0+9#%25) :%1.-(#)7#(#9%+#*5);2$)#+1<3)
- 6. !"#$%&'(')*"+$#"'' !"#$%*(.-.%'7/,( !"#$%$&'( 500%6&'216%./7%!.281&%0#.(1% ,"-./%('-0"&12%3/&124.(1% <$8(=.&.( )*+,"-.%(/%"01( !"#$%&'"()%*+% ;-(5*5"+'(/"5607-8( 91:.-/*1(9-.%'7/,( 9211/%7.&.%(1/&21% <#.6)%!1-'2=% :'(3.#%AB!% :'#37%6&.&1%723;1% ,>!?@% 2"-&*3&(.4.+*(/"5607-8(
- 7. !"#$%&'()#*+$ $ ,-.#(''/$ $ $011$*2))2'3$-.45#$67#&7$-7$'8$9-&."$:;<:=$ $<$23$>$?3@#&3#@$67#&7$"-5#$-$,-.#(''/$ $-..'63@$ $$ $9'&#$@"-3$>;$(2))2'3$A2#.#7$'8$.'3@#3@$BC#($ $)23/7=$3#C7$7@'&2#7=$()'D$A'7@7=$3'@#7=$A"'@'$ $-)(6*7=$#@.EF$7"-&#G$#-."$*'3@"E$ $ $H')G7$>;%I$'8$G-@-$8'&$-3-)J727=$-GG7$<:$!I$'8$ $.'*AM#G$G-@-$G-2)J$
- 8. "<&!B',:+&*C! !"#$%&'! ! !())!*$++$,-!./&'/0!12)!*$++$,-!34$+5!6#&&6/! !789!:$++$,-!/&4';<!=.&'$&/!4!345! !>!"?!3464!@,'!4-4+5/$/!A&-&'46&3!34$+5! !!
- 9. "<&!B',:+&*C! !"#$%&'! ! !())!*$++$,-!./&'/0!12)!*$++$,-!34$+5!6#&&6/! !789!:$++$,-!/&4';<!=.&'$&/!4!345! !>!"?!3464!@,'!4-4+5/$/!A&-&'46&3!34$+5! !!
- 10. >,$!F(-G7$4H! !"#$%&''&(! ! !)*+!#,-.'&/0!.'$('1!!2++!#,-.'&/0!3#$4'! !5$6-44$/0!3#$4'!0&378!9-(!!*+++!.'$('! !):!;<!0&#&!9-(!&/&78'3'!=$/$(&#$0!0&378! !! >(&03?-/&7!0&#&!'#-(&=$1!#$6,/3@.$'!A!&/&78'3'! #--7'!B.'#!0-!/-#!C-(D!&#!#,$'$!'6&7$'!E! !
- 11. !"#$%&'&$%"()*+",*+$-./0$ $ 12) .,12()$$ .& .& 12) $ .&3"'4$ .)1,5"'4$
- 12. Hadoop
- 13. !"#$%&'%(#)**+%,% !"#$%&"#'()*'(+(%"(&"#'(,-.%/#-/0,#'12,' "(,3#'4-("#'*%4/,%&0/#*'-#$."'5,2-#44%)3' 2)'(')#/62,7'21'-2882*%/9'.(,*6(,#:'
- 14. !"#$%&'()"'*&+&*'",)-&$(' !"#$%%!&'((#)&#&*!+)(,-%. .//'$)0(,123(),4' 5('%#4')0&')6'(%&'4(,)07&4('&$)'484(&94':1(%'*#,7&'0)')6'432'",)-&$(4' ;#%))'%#4')0&')6'(%&'2177&4('104(#**#<)0'=#>))"' ?300107'@///4')6'4&,+&,4')0'=#>))"'
- 15. !"#$%&'()*+),) !"##$%&'"()'*'+,-'.&/01&'*'23$'4,5%&6' ' '78193:&1:08&'5&93;/'"##$%&<=' ''''' ' ')&,819'>;$3;&' -&'./0&)01)2.(00$)$&03'4/)
- 16. !"#$%&"#"$'$()&*$+"$,&-../$0"#-$1.2$ 3+456.%+&7$-&*&$&8&79"+"$ :#;*$<+8+84=$/&>#28"$"#&2%)$ ?&%)+8#$7.4$&8&79"+"$ @#.A"/&%+B&7$&8&79"+"$ :2#8-$C8&79"+"$ @#8.<#$C8&79"+"$ D204$D+"%.E#29$ F2&0-$&8-$%.</7+&8%#$<&8&4#<#8*$ G+-#.$&8-$+<&4#$&8&79"+"$
- 18. !"#$$%&'($)*)+',&-& <;;=%%(%:& /?+@%& A;B5%& C25::& 12+34#& 96:;& 0>;;(& !56%& 758& !"#$%& '#()%*+,%-!./0&
- 20. !"#$%&'(& !""# $%&'()*+&,#-&.&/&010#
- 21. !"#$%&'()&& !""# !"#$$%&#'()*'+,)-#&./-&(0()-1&
- 24. Exemplo de MapReduce from mrjob.job import MRJob import re WORD_RE = re.compile(r"[w']+") class MRWordFreqCount(MRJob): def mapper(self, _, line): for word in WORD_RE.findall(line): yield (word.lower(), 1) def reducer(self, word, counts): yield (word, sum(counts)) if __name__ == '__main__': MRWordFreqCount().run()
- 25. Projeto MrJob Criado pela Equipe de Engenharia do Yelp Totalmente Open-Source Todo em Python Utiliza Map-Reduce para Processamento Permite rodar tanto no Amazon EMR como no Hadoop
- 26. Objetivos do MrJobs Se você quer aprender MapReduce, ele é para você Se você tem um problema cavalar e precisa de muito processamento e não está afim de mexer em Hadoop Se você já tem um cluster Hadoop e quer rodar scripts Python Se você quer migrar seu código Python do Hadoop para o EMR Se você não quer escrever Python (Impossível!), não é para você!
- 27. Passos importantes sudo easy_install mrjob
- 28. Vamos a uma demo... Texto da posse de Obama em 2009.
- 30. Mais informações http://packages.python.org/mrjob/ https://github.com/Yelp/mrjob
- 31. Distributed Computing with mrJob https://github.com/Yelp/mrjob Elsayed et al: Pairwise Document Similarity in Large Collections with MapReduce
- 32. Distributed Computing with mrJob https://github.com/Yelp/mrjob Elsayed et al: Pairwise Document Similarity in Large Collections with MapReduce
- 33. Atepassar Recommendations http://atepassar.com Problema: Como recomendar novos amigos ?
- 34. Atepassar Recommendations http://atepassar.com
- 35. Atepassar Recommendations http://atepassar.com marcel;jonas,maria,jose,amanda "marcel" [["carol", 2], ["fabio", 1], ["fabiola", 1], ["patricia", 1], ["paula", 1]] maria;carol,fabiola,amanda,marcel "maria" [["jose", 2], ["patricia", 2], ["jonas", 1], ["paula", 1]] amanda;paula,patricia,maria,marcel "patricia" [["maria", 2], ["jose", 1], ["marcel", 1], ["paula", 1]] carol;maria,jose,patricia "paula" [["jonas", 1], ["marcel", 1], ["maria", 1], ["patricia", 1]] fabiola;maria "amanda" [["carol", 2], ["fabio", 1], ["fabiola", 1], ["jonas", 1], ["jose", 1]] paula;fabio,amanda "carol" [["amanda", 2], ["marcel", 2], ["fabiola", 1]] patricia;amanda,carol "fabio" [["amanda", 1], ["marcel", 1]] jose;marcel,carol "fabiola" [["amanda", 1], ["carol", 1], ["marcel", 1]] jonas;marcel,fabio "jonas" [["amanda", 1], ["jose", 1], ["maria", 1], ["paula", 1]] fabio;jonas,paula "jose" [["maria", 2], ["amanda", 1], ["jonas", 1], ["patricia", 1]] carla $python friends_recommender.py - r emr --num-ec2-instances 5 facebook_data.csv > output.dat
- 36. Atepassar Recommendations http://atepassar.com marcel;jonas,maria,jose,amanda "marcel" [["carol", 2], ["fabio", 1], ["fabiola", 1], ["patricia", 1], ["paula", 1]] maria;carol,fabiola,amanda,marcel "maria" [["jose", 2], ["patricia", 2], ["jonas", 1], ["paula", 1]] amanda;paula,patricia,maria,marcel "patricia" [["maria", 2], ["jose", 1], ["marcel", 1], ["paula", 1]] carol;maria,jose,patricia fabiola;maria marcel;jonas,maria,jose,amanda 1], ["patricia", 1]] "paula" [["jonas", 1], ["marcel", 1], ["maria", "amanda" [["carol", 2], ["fabio", 1], ["fabiola", 1], ["jonas", 1], ["jose", 1]] paula;fabio,amanda carol;maria,jose,patricia ["marcel", 2], ["fabiola", 1]] "carol" [["amanda", 2], patricia;amanda,carol jose;marcel,carol fabio;jonas,paula [["amanda", 1], ["marcel", 1]] "fabio" "fabiola" [["amanda", 1], ["carol", 1], ["marcel", 1]] jonas;marcel,fabio ... "jonas" [["amanda", 1], ["jose", 1], ["maria", 1], ["paula", 1]] fabio;jonas,paula "jose" [["maria", 2], ["amanda", 1], ["jonas", 1], ["patricia", 1]] carla $python friends_recommender.py - r emr --num-ec2-instances 5 facebook_data.csv > output.dat
- 37. Atepassar Recommendations http://atepassar.com fsim(u,i) = w1 f1(u,i) + w2 f2(u,i) + b, https://gist.github.com/3970945#file_atepassar_recommender.py
- 38. Atepassar Recommendations http://atepassar.com Celery - para agendamento dos jobs coletores e executores. mrJob - para mapreduce e acesso ao Hadoop MongoDb - para armazenamento das recomendações Boto - acesso aos files do S3.
- 39. Benchmarks Pure Python Python w/ Scipy MapReduce Dataset w/ dicts and Numpy (100 nodes small) MovieLens ~28 hrs ~12hrs ~= 5 hrs 100k http://www.grouplens.org/node/73 Pure python - Crab Crab Scipy Numpy Crab w/ MapReduce
- 40. Benchmarks Pure Python Python w/ Scipy MapReduce Dataset w/ dicts and Numpy (100 nodes small) MovieLens ~28 hrs ~12hrs ~= 5 hrs 100k http://www.grouplens.org/node/73 Pure python - Crab Crab Scipy Numpy Crab w/ MapReduce Time ellapsed ( Top-N similar items) 0 7.5 15 22.5 30
- 41. Benchmarks Pure Python Python w/ Scipy MapReduce Dataset w/ dicts and Numpy (100 nodes small) MovieLens ~28 hrs ~12hrs ~= 5 hrs 100k http://www.grouplens.org/node/73 Pure python - Crab Crab Scipy Numpy Crab w/ MapReduce Time ellapsed ( Top-N similar items) 0 7.5 15 22.5 30
- 42. Benchmarks Pure Python Python w/ Scipy MapReduce Dataset w/ dicts and Numpy (100 nodes small) MovieLens ~28 hrs ~12hrs ~= 5 hrs 100k http://www.grouplens.org/node/73 Pure python - Crab Crab Scipy Numpy Crab w/ MapReduce Time ellapsed ( Top-N similar items) 0 7.5 15 22.5 30
- 43. Benchmarks Pure Python Python w/ Scipy MapReduce Dataset w/ dicts and Numpy (100 nodes small) MovieLens ~28 hrs ~12hrs ~= 5 hrs 100k http://www.grouplens.org/node/73 Pure python - Crab Crab Scipy Numpy Crab w/ MapReduce Time ellapsed ( Top-N similar items) 0 7.5 15 22.5 30
- 44. A melhor parte!
- 45. Projetos interessantes Pandas: a data analysis library for Python, poised to give R a run for its money… http://pandas.pydata.org/ Estrutura de dados para manipulação rápida - slicing - indexing - subseting Handling missing data Agregações, Séries Temporais
- 46. Projetos interessantes http://discoproject.org/ Outro framework para computação distribuída com Python com MapReduce. Criado pelo Instituto Nokia. Backend dele é escrito em Erlang (funcional, concorrente e bem escalável!) Não utiliza o FileSystem mais usado HDFS e sim um novo padrão por eles (DDFS).
- 47. Projetos interessantes Python & MongoDb http://api.mongodb.org/python/2.0/examples/ map_reduce.html MongoDb - Banco de Dados Não relacional (NoSQL) Possui suporte nativo built-in para fazer MapReduce. Escrever o código em JS e não é muito legível e fica preso ao Mongo ... >>> reduce = Code("function (key, values) {" ... " var total = 0;" ... " for (var i = 0; i < values.length; i++) {" ... " total += values[i];" ... " }" ... " return total;" ... "}")
- 48. Projetos interessantes Dumbo https://github.com/klbostee/dumbo/wiki/Short-tutorial Uma das primeiras bibliotecas em cima do MapReduce e Python. Complicado para começar e está desatualizada :(
- 49. Projetos interessantes http://pydoop.sourceforge.net/docs/index.html Um wrapper em Python em cima do Hadoop para computação distribuída. Legal, mas dá um trabalho para configurar.
- 50. Projetos interessantes https://developers.google.com/appengine/docs/python/ dataprocessing/ Mapreduce com Python na Google AppEngine Ainda experimental e fica “preso” à plataforma AppEngine.
- 51. Projetos interessantes http://scikit-learn.org/stable/ Algoritmos de aprendizagem de máquina Supervisionados & Não supervisionados Pré-processamento, extração de dados Avaliação de classificadores, Pipeline, seleção de atributos.
- 52. Projetos interessantes http://nltk.org/ Processamento de linguagem natural Várias ferramentas para tokenização, pos tagging, named entity recognition, classificadores, etc. Vários corpus disponíveis!
- 53. Projetos interessantes http://nltk.org/ Processamento de linguagem natural Fiquem de olho... Várias Pipeline for distributed Natural Language Processing, made in Python ferramentas para tokenização, https://github.com/NAMD/pypln pos tagging, named entity recognition, classificadores, etc. Vários corpus disponíveis!
- 54. Projetos interessantes Our Project’s Home Page http://muricoca.github.com/crab
- 55. Future Releases Planned Release 0.13 New home for python-recsys: https://github.com/python-recsys/crab New commiters: vinnigracindo, ocelma, fcurella Planned Release 0.14 Support to Item-Based Recommenders using MapReduce with MrJob
- 56. Join us! 1. Read our Wiki Page https://github.com/muricoca/crab/wiki/Developer-Resources 2. Check out our current sprints and open issues https://github.com/muricoca/crab/issues 3. Forks, Pull Requests mandatory 4. Join us at irc.freenode.net #muricoca or at our discussion list http://groups.google.com/group/scikit-crab
- 57. Vários outros ... Numpy milk NetworkX Orange Matplotlib Scipy StatsModels PyBrain
- 59. Livros recomendados For free... http://shop.oreilly.com/product/0636920022640.do?cmp=il-radar-ebooks-big-data-now-radar
- 60. Livros recomendados For free... http://infolab.stanford.edu/~ullman/mmds/book.pdf
- 61. Artigos recomendados For free... http://aimotion.blogspot.com.br/2012/10/atepassar- recommendations-recommending.html http://aimotion.blogspot.com.br/2012/08/introduction-to- recommendations-with.html
- 62. Artigos recomendados For free... http://aimotion.blogspot.com.br/2012/10/atepassar- recommendations-recommending.html http://aimotion.blogspot.com.br/2012/08/introduction-to- recommendations-with.html https://github.com/marcelcaraciolo/recsys-mapreduce-mrjob
- 63. Construindo Soluções Científicas com Big Data & MapReduce Marcel Caraciolo @marcelcaraciolo marcel@atepassar.com