Indexadores Distribuidos utilizando Hadoop
Transferir como PPTX, PDF0 gostou752 visualizações
Este documento discute a indexação distribuída usando Apache Hadoop. Descreve o Apache Lucene para indexação e pesquisa de texto, e o Hadoop e seu HDFS para armazenamento distribuído de dados e processamento MapReduce. Vários métodos para implementar Lucene distribuído em Hadoop são apresentados, incluindo abordagens baseadas em master-slave e MapReduce.
Indexadores Distribuidos utilizando Hadoop
- 1. Indexadores distribuídos utilizando Apache HadoopLuís A. Bastião SilvaRecuperação de informação
- 2. AgendaEnquadramentoLuceneHadoopHDFSMapReduceImplementações do Lucene distribuídasConclusões
- 3. EnquadramentoAumento do volume de informação têm vindo a crescerCriação de motores de pesquisaIndexaçãoPesquisaIndexador versus Base de Dados relacionalNecessidades de distribuir a indexação e pesquisa por vários sistemas computacionaisEnquadramentoHadoopLuceneConclusõesLuceneDistribuido
- 4. Apache LuceneProjecto da ASF (Apache Software Fundation)Plataforma Open SourceInterfaces de indexação e pesquisa bem definidosPesquisa “full-text”, capacidade de filtragem, expressões booleanas, intervalos, etc. Capacidade de fazer “merge” de vários índicesÚtil para indexadores distribuídosEnquadramentoHadoopLuceneConclusõesLuceneDistribuido
- 5. ProjectoHadoopHadoop: ASF + Open SourceMotivação: criação de um sistema de ficheiros distribuído efectuar processamento nos vários nós do clusterEnquadramentoHadoopLuceneConclusõesLuceneDistribuido
- 7. HDFS: HadoopDistributed File SystemSistema de ficheiros distribuídosConstruído para grandes volumes de informaçãoBlocos divididos em blocos de 64MBRedundânciaOrientado a “batchprocessing” e streamingArquitecturaMaster/SlaveEnquadramentoHadoopLuceneConclusõesLuceneDistribuido
- 9. MapReduceEnquadramentoHadoopLuceneConclusõesLuceneDistribuidoModelo de programaçãoMap“Shuffle”Reduce
- 10. LuceneDistribuidoDiscussão de diferentes abordagensEnquadramentoHadoopLuceneConclusõesLuceneDistribuido
- 11. Doug Cutting ApproachIndicesdistribuidos pelos sistemas computacionaisArquitecturaMaster/SlavesMaster: contém a localização dos vários indicesCada indice têm uma versãoEnquadramentoHadoopLuceneConclusõesLuceneDistribuido
- 12. DistributedLuceneNão utiliza o HDFSUtiliza mecanismos de IPC do HadoopSegue os conceitos propostos por Doug Cutting Introduz o conceito do estado do indice:“uncommited”, “replicating” e “live”Actualizaçãobaseadaem “leasing”EnquadramentoHadoopLuceneConclusõesLuceneDistribuido
- 13. Distributed Index for Semantic SearchUtilização do MapReduceMap: Parser dos documentos armazenados no sistema de ficheiros distribuídoRedução: obter documentos que contém o mesmo termoEnquadramentoHadoopLuceneConclusõesLuceneDistribuido
- 14. ConclusõesMover processamento é preferível a mover dados Algumas implementações de Lucene distribuídos, contudo:Limitativas para o utilizadorAinda em fase beta de desenvolvimentoNão existe standarização ao nível de indexação distribuída, não permitindo a criação de sinergias entre projectos.Hadoop revelou-se uma plataforma bastante estávelEnquadramentoHadoopLuceneConclusõesLuceneDistribuido
- 15. Questões?
Notas do Editor
- #4: Volume de dadosnos sistemas informáticos têm vindo a crescer substancialmente na última decada. Com tantos dados, torna-se importante ao utilizador poder extrair informação.Para isso surgiram motores de pesquisa, que permitem aos utilizadores extrair informação dos dados. Exisem dois processos diferentes na construção de um motor de pesquisa:Indexação dos dadosPesquisaUm sistema de indexação e pesquisa baseado em índice permite escalar a aplicação e fazer3ranking de informação relevante integrando várias fontes de dados como exemplos: email, webpages, ficheiros ou mesmo base de dados.
- #5: Projecto da ASF – Open SourceBiblioteca Interfaces bem definidos: indexação e pesquisa.Pesquisa fulltext, range etc.Capacidade de fazer merge de vários indices. Ex. PC1 indexa PC2 Indexa No final podemos ter um unicoindice.
- #6: ASF + OSSFrameworkMotivação: - criar um sistema ficheiros distribuidos - distribuir processamento nos vários nos do cluster, tirando partido do sistemas de ficheiros distribuidos.
- #7: Centramo nos HDFS e MapReduce
- #14: A fase de Map pode ser usada para carregar documentos do DFS