Word2vec 4 All
Oscar García Peinado
Word embedding - Word2vec
Documento:
Camera porpoise dolphin
SeaWorld Paris Camera.
Vocabulario:
Subconjunto de palabras
únicas
Que es word2vec?
Es un modelo matemático desarrollado por el equipo de investigación
sobre análisis lingüístico de Google y liderado por Tomas Mikolov y
publicado en 2013.
En dos líneas:
Word2vec se encarga de representar cada una de las palabras del
vocabulario de un texto en un espacio vectorial de N-Dimensiones.
Paper google:
(https://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-th
eir-compositionality.pdf)
Literalmente ¿que hace word2vec?
Cuando el modelo proyecta el vocabulario sobre el espacio
N-dimensional intenta dejar cerca todas las palabras que aparecen
en el mismo contexto.
coche
moto casa
cocina
baño
parque
cine
árbol
¿Parecido por contexto?
Xin Rong - word2vec: https://www.youtube.com/watch?v=D-ekE-Wlcds&t=1852s
Operaciones en el espacio vectorial
vec(“Berlin”) -
vec(“Germany”) +
vec(“France”) = ???
¿Por dentro?
Word2vec 4 all
Red neuronal -Entrada: Vector con los valores de la palabra que
estamos tratando (skip-gram ,CBOW)
-Salida: Vector de las palabras relacionadas con el
vector de entrada dependiendo del modelo de
input utilizado (skip-gram, CBOW)
CBOW
La entrada sería el conjunto que rodea al
target y la salida sería el target.
Skip-gram
El input es la palabra que estamos
procesando y la salida es el
contexto.
Demo online
https://ronxin.github.io/wevi/
Referencias
https://papers.nips.cc/paper/5021-distributed-representations-of-wo
rds-and-phrases-and-their-compositionality.pdf
https://papers.nips.cc/paper/5021-distributed-representations-of-wo
rds-and-phrases-and-their-compositionality.pdf
https://docs.google.com/presentation/d/1yQWN1CDWLzxGeIAvnGgDsIJr5xm
y4dB0VmHFKkLiibo/pub?start=false&loop=false&delayms=3000&slide=id.g
e79682746_0_245
https://www.youtube.com/watch?v=D-ekE-Wlcds&t=1852s
Fin

Más contenido relacionado

PDF
Catalogo VENDING 08/2019 -
DOC
La Torre de Hanoi Monografía vanessa mayo 2010
PPTX
Chess board problem(divide and conquer)
PDF
Modified Method for Fixed Charge Transportation Problem
PPT
Characteristics of Embedded Systems
PPTX
8 QUEENS PROBLEM.pptx
PPT
Ch4 1 v1
PPT
Hidden Markov Models with applications to speech recognition
Catalogo VENDING 08/2019 -
La Torre de Hanoi Monografía vanessa mayo 2010
Chess board problem(divide and conquer)
Modified Method for Fixed Charge Transportation Problem
Characteristics of Embedded Systems
8 QUEENS PROBLEM.pptx
Ch4 1 v1
Hidden Markov Models with applications to speech recognition

La actualidad más candente (6)

PPT
Core of the ES
PDF
Chapter 5: Mapping and Scheduling
PDF
Methods for handling deadlocks
PPTX
PDF
Sensing as-a-Service - The New Internet of Things (IOT) Business Model
PPT
Quality attributes of Embedded Systems
Core of the ES
Chapter 5: Mapping and Scheduling
Methods for handling deadlocks
Sensing as-a-Service - The New Internet of Things (IOT) Business Model
Quality attributes of Embedded Systems
Publicidad

Destacado (20)

PDF
Word2vec: From intuition to practice using gensim
PDF
Word2Vec: Learning of word representations in a vector space - Di Mitri & Her...
PDF
word2vec - From theory to practice
PDF
Representation Learning of Vectors of Words and Phrases
PPTX
Word2vec slide(lab seminar)
PPT
Distributed representation of sentences and documents
PDF
Drawing word2vec
PPTX
A Simple Introduction to Word Embeddings
PDF
Word2vec algorithm
PPTX
Word representations in vector space
PDF
Deep Learning for Natural Language Processing: Word Embeddings
PDF
Word Embedding e word2vec: Introduzione ed Esperimenti Preliminari
PDF
Word2Vec on Italian language
PDF
Word2vec on the italian language: first experiments
PDF
Text mining, word embeddings, & wikipedia
PPT
Class 01 introduction_imagen_procesing
PPTX
CNN for Sentiment Analysis on Italian Tweets
PPTX
An Introduction to gensim: "Topic Modelling for Humans"
PDF
word embeddings and applications to machine translation and sentiment analysis
Word2vec: From intuition to practice using gensim
Word2Vec: Learning of word representations in a vector space - Di Mitri & Her...
word2vec - From theory to practice
Representation Learning of Vectors of Words and Phrases
Word2vec slide(lab seminar)
Distributed representation of sentences and documents
Drawing word2vec
A Simple Introduction to Word Embeddings
Word2vec algorithm
Word representations in vector space
Deep Learning for Natural Language Processing: Word Embeddings
Word Embedding e word2vec: Introduzione ed Esperimenti Preliminari
Word2Vec on Italian language
Word2vec on the italian language: first experiments
Text mining, word embeddings, & wikipedia
Class 01 introduction_imagen_procesing
CNN for Sentiment Analysis on Italian Tweets
An Introduction to gensim: "Topic Modelling for Humans"
word embeddings and applications to machine translation and sentiment analysis
Publicidad

Último (20)

PPTX
Cancer de ovario y su fisiopatologia completa
PDF
-3-IMPORTANCIA DE LAS PROTEINAS 02 ABRIL 2020 .pdf
PPTX
Sesión 1 Epidemiologia.pptxxxxxxxxxxxxxxxx
PPTX
VENTILACIÓN MECÁNICA NO INVASIVA Y CÁNULA NASAL DE.pptx
PDF
Esófago de barret y cancer esofagico Nutrición
PPTX
Radiografía_de_Abdomen_Imagenología.pptx
PDF
ENLACE QUÍMICO.pdf Enlaces iónicos, metálicos, covalentes. Uniones intermolec...
PPTX
Anatomia-Fisiologia-y-Patologia-de-los-OFA-material-de-apoyo-parte-3.pptx
PPTX
PLATON.pptx[una presentación efectiva]10
PPTX
Abstraccion para la solucion de problemas .pptx
PPTX
Circuitos en corriente alterna capacitores e inductores
PPT
articuloexenatide-120215235301-phpapp02.ppt
PPT
clase ICC cardiologia medicina humana 2025
PPTX
Aborto exposicion.pptxdsaaaaaaaaaaaaaaaaaaaaaaaaaa
PPTX
El ciclo del agua en colombia y su magnitud
PPTX
Propiedades fisicoquímicas y simulaciones de dinámica molecular de disolvente...
PPTX
SESIÓN 2 ALIMENTACION Y NUTRICION SALUDABLE JULY.pptx
PDF
Fisiología Humana I Aparato Digestivo.pdf
PPT
SISTEMA_TEGUMENTARIO LIC VANESSA BORJA.ppt
PDF
TEJIDO CARTILAGINOSO. HISTOFISIOLOGÍA. .
Cancer de ovario y su fisiopatologia completa
-3-IMPORTANCIA DE LAS PROTEINAS 02 ABRIL 2020 .pdf
Sesión 1 Epidemiologia.pptxxxxxxxxxxxxxxxx
VENTILACIÓN MECÁNICA NO INVASIVA Y CÁNULA NASAL DE.pptx
Esófago de barret y cancer esofagico Nutrición
Radiografía_de_Abdomen_Imagenología.pptx
ENLACE QUÍMICO.pdf Enlaces iónicos, metálicos, covalentes. Uniones intermolec...
Anatomia-Fisiologia-y-Patologia-de-los-OFA-material-de-apoyo-parte-3.pptx
PLATON.pptx[una presentación efectiva]10
Abstraccion para la solucion de problemas .pptx
Circuitos en corriente alterna capacitores e inductores
articuloexenatide-120215235301-phpapp02.ppt
clase ICC cardiologia medicina humana 2025
Aborto exposicion.pptxdsaaaaaaaaaaaaaaaaaaaaaaaaaa
El ciclo del agua en colombia y su magnitud
Propiedades fisicoquímicas y simulaciones de dinámica molecular de disolvente...
SESIÓN 2 ALIMENTACION Y NUTRICION SALUDABLE JULY.pptx
Fisiología Humana I Aparato Digestivo.pdf
SISTEMA_TEGUMENTARIO LIC VANESSA BORJA.ppt
TEJIDO CARTILAGINOSO. HISTOFISIOLOGÍA. .

Word2vec 4 all