![Capítulo 1 La Web como espacio de información universal
mos cómo hace 50 años alguien buscaba información. Debía recorrer biblio
teca por biblioteca, y correlacionar o comparar la información a mano. Por
ejemplo, determinar los títulos de libros que estudian la vida de Andrés Be
llo. No podía “navegar” a través de la imagen virtual de todos los libros de
todas las bibliotecas del mundo juntas. Sin embargo, la Web hizo posible esa
realidad.
El desarrollo de la tecnología computacional ha sido clave en este pro
ceso. Los computadores en sus inicios eran gigantescos armatostes que
ocupaban pisos enteros de edificios, “centros” de procesamiento de informa
ción. La gente, técnicos, usuarios, etc. giraba en torno a ellos. La conexión
entre dos de estos gigantescos aparatos era escasa o nula. Con el adveni
miento de los computadores personales, llegó también la idea de que cada
usuario poseedor de un PC pudiera “conectarse” con otros cercanos. Nacie
ron las redes locales. De esta idea hay un paso a pensar una red más grande,
y finalmente una red “global”. Y con esto, aparece el problema de cómo co
ordinar, integrar la información que está en cada uno de los nodos
(computadores) de esta gigantesca red.
A comienzos de los noventa, Tim BernersLee [1] tuvo una idea genial:
diseñar este sistema global de información de tal forma que cada usuario en
un nodo pudiera navegar por el resto de forma totalmente automática, es de
cir, sin tener idea de cómo funciona el sistema del otro, qué sistema
operativo tiene, qué lenguajes de programación usa, qué aplicaciones corre.
Su experiencia en el CERN (ver figura 1.1) fue la gatilladora de esta simple
idea, que es el origen de la Web. En palabras de BernersLee: “El concepto de
la Web integró muchos sistemas de información diferentes, por medio de la
formación de un espacio imaginario abstracto en el cual las diferencias entre
ellos no existían. La Web tenía que incluir toda la información de cualquier
tipo en cualquier sistema.”
11](https://image.slidesharecdn.com/libroweb-nv-151029191534-lva1-app6892/85/Libro-web-nv-19-320.jpg)
![Capítulo 1 La Web como espacio de información universal
Es así como la Web es hoy un gran espacio de información universal,
una vitrina de acceso a casi excluimos la de organizaciones como el Pentá
gono, etc. toda la información existente en el mundo hoy en día.
Las bases lógicas de la Web
Desde el punto de vista técnico, los tres pilares básicos sobre los que se
sustenta la arquitectura lógica de la Web son:
12
Figura 1.1: La Propuesta Original de la Web en el CERN [2]](https://image.slidesharecdn.com/libroweb-nv-151029191534-lva1-app6892/85/Libro-web-nv-20-320.jpg)
![Capítulo 1 La Web como espacio de información universal
quier herramienta. El servidor es el que almacena o crea recursos
como archivos HTML, imágenes, etc. Entre ellos puede haber varios
intermediarios, como proxies, gateways y túneles. A través de ins
trucciones simples, pero poderosas, el cliente indica al servidor qué
acciones realizar para recibir o entregar datos. Ver más detalles en
capítulo 3.
La filosofía de la Web como espacio de
información: la W3C
La Web fue creada con una cierta filosofía, una posición de principios
frente a los desarrollos que se venían dando en materia de publicaciones, de
desarrollo de software, de derechos de autor y de difusión. Esta filosofía
puede resumirse en tres principios básicos: todos pueden publicar, todos pueden
leer, nadie debe restringir.
¿Cómo lograr esto técnicamente? En esta dirección, se creó el Consorcio
de la Web (W3C), una organización internacional que se propuso como sus
dos objetivos primordiales el impulsar la interoperabilidad y evolutividad de la
recientemente creada red universal de información. Para esto se comenzaron
a generar estándares y protocolos. ¿Qué significan estos dos requerimientos
en más detalle? En un famoso artículo, Explorando la Universalidad [3], Tim
BernersLee desglosaba sus aspectos básicos:
• Independencia de Dispositivo. La misma información debe ser ac
cesible desde diversos dispositivos. Esto significa, por ejemplo, que
la visualización debe tener estándares que permitan acceder a la in
formación desde casi cualquier formato de pantalla y audio. Una de
14](https://image.slidesharecdn.com/libroweb-nv-151029191534-lva1-app6892/85/Libro-web-nv-22-320.jpg)
![Capítulo 1 La Web como espacio de información universal
en la Web. En otra dirección, otro ejemplo de estas limitaciones es la dificul
tad para diseñar e implementar una tarea tan natural como organizar todos
los recursos educacionales de un país, de tal forma que resulte sencillo para
cada estudiante y profesor el publicar y obtener la información que requie
ran. Se necesitan vocabularios comunes, descripción precisa de los datos
expuestos, publicación distribuida, búsquedas automatizadas. En una frase:
debido a las enormes dimensiones, la Web se ha convertido en una torre de
Babel no sólo al nivel del lenguaje natural, sino esencialmente al nivel del
significado, contradiciendo las ideas por las cuales fue creada. ¿La solución?
Pavimentar el camino para la construcción de agentes de software que pue
dan procesar información de la Web por nosotros. La noción de Web
Semántica [4] es transformar la Web actual de tal forma que la información y
los servicios sean entendibles y usables tanto por computadores como por
humanos. La Web Semántica creará el ambiente necesario donde los agentes
de software puedan rápidamente realizar tareas sofisticadas y ayudar a los
humanos a encontrar, entender, integrar, y usar la información en la Web.
Metadatos y RDF
La característica distintiva de la Web Semántica será un lenguaje están
dar de metadatos y ontologías, que permitirán que agentes de software
encuentren el significado de la información en páginas Web, siguiendo enla
ces a las definiciones de términos claves y reglas para razonar acerca de ellas
lógicamente. Los metadatos son datos descriptivos acerca de un objeto o re
curso, sea éste físico o electrónico. Las ontologías son especificaciones
formales de vocabulario y conceptos compartidos para un dominio.
Aunque el concepto de metadatos es relativamente nuevo, los concep
tos subyacentes han estado rondando desde que se organizaron grandes
colecciones de información. En áreas tales como catalogación en bibliotecas y
18](https://image.slidesharecdn.com/libroweb-nv-151029191534-lva1-app6892/85/Libro-web-nv-26-320.jpg)
![Capítulo 1 La Web como espacio de información universal
museos han sido usados por décadas, por ejemplo, el DCC (Dewey Decimal
Classification), OCLC (On Line Computer Library Center), Dublin Core. Una
manera útil de pensar acerca de los metadatos es “la suma total de lo que
uno puede decir acerca de cualquier objeto de información a cualquier nivel
de agregación”. Hay muchos tipos de metadatos, y los usos más comunes se
refieren a documentación de copyrights y accesos legales, versionamiento,
ubicación de información, indización, descripción de condiciones físicas de
recursos, documentación de software, autentificación, etc.
En la Web, los metadatos también han jugado un rol importante en áre
as como catálogos de propósito general (Dublin Core, Open Directory
Project, Wikipedia), sindicación y rating (Rich Site Summary RSS, Platform
for Internet Content PICS), colecciones personales (música, fotos), privaci
dad, etc. Y los más populares hoy son simplemente tags, es decir, etiquetas;
un lenguaje que no tiene verbos ni adjetivos. Simplemente nombres. Todos
estos metadatos son sectoriales y usan una diversidad de modelos y lengua
jes.
Por el contrario, se necesita un lenguaje de significados (de metadatos)
universal. Este es RDF [5] (del inglés Resource Description Framework), que es
un lenguaje diseñado para soportar la Web Semántica, de la misma manera
que HTML es el lenguaje que ayudó a iniciar la Web. El modelo de RDF es
simple: el universo a modelar (la Web) es un conjunto de recursos (esencial
mente todo puede tener una URL); el lenguaje para describirlo es un
conjunto de propiedades (técnicamente predicados binarios); las descripciones
son oraciones similares en estructura al modelo sujetopredicadoobjeto, don
de el predicado y el objeto son recursos o cadenas de caracteres. Así, por
ejemplo, uno puede afirmar “El creador de http://www.picarte.cl es
Claudio Gutiérrez”. El vocabulario de las propiedades para este lenguaje pue
19](https://image.slidesharecdn.com/libroweb-nv-151029191534-lva1-app6892/85/Libro-web-nv-27-320.jpg)
![Capítulo 2 Anatomía de la Web
El Principio del Mínimo Esfuerzo
George Kipling Zipf era un lingüista de Harvard y publicó en 1949 su
libro sobre el principio del mínimo esfuerzo un año antes de su deceso, a la
prematura edad de 40 años. El descubrimiento inicial de Zipf en 1932 fue
que si uno contaba el número de veces que se usaba cada palabra en distin
tos textos en inglés, y las ordenaba de más frecuente a menos frecuente, se
cumplía que la frecuencia de la palabra iésima, multiplicada por i, era igual
a una constante C, y la constante C dependía del texto escogido. Actualmen
te es necesario elevar i a un exponente t mayor que 1 y cercano a 2 para
muchos textos existentes, en particular en la Web. Graficando esta curva
usando una escala logarítmica en ambos ejes, ella se convierte en una recta
con pendiente negativa t [1].
Zipf explica estos resultados empíricos como una condición humana,
donde siempre es más fácil escribir una palabra conocida que una menos co
nocida. Fenómenos similares aparecen en otros ámbitos como el número de
citas bibliográficas a un artículo dado o las poblaciones de las ciudades. Di
versos autores, entre ellos Mandelbrot y Miller, argumentaron más tarde que
en realidad la ley de Zipf representa la consecuencia de las leyes de las pro
babilidades en procesos asociados a codificación de información donde hay
mucho de azar. Sin querer tomar partido en esta disputa científica, cierta o
no cierta, la ley de Zipf aparece frecuentemente en la práctica y refleja bien la
actitud natural de minimizar el esfuerzo, exceptuando los casos extremos,
que serían en el ejemplo inicial, usar muy pocas palabras o usar muchas. Tal
vez esta ley sólo explica la diversidad humana, la que se inclina más por la
pereza que por la erudición. De hecho, que t sea ahora alrededor de 1.8 para
textos en inglés, indica un mayor sesgo en esa diversidad, y una degradación
en el tiempo de la riqueza del vocabulario que usamos al escribir.
27](https://image.slidesharecdn.com/libroweb-nv-151029191534-lva1-app6892/85/Libro-web-nv-35-320.jpg)
![Capítulo 2 Anatomía de la Web
puede ser falsa o engañosa. Hay que tener esto en mente cuando usamos
una página Web como fuente de información o la referenciamos.
Los Sitios Impenetrables
Estos sitios son aquellos que contienen una o más páginas donde un
buscador no puede extraer los enlaces a las páginas internas porque no usan
HTML sino un diseño gráfico basado en un programa. Es decir, la estética es
prioritaria pero por ignorancia mata su contenido. Según el último estudio
de la Web Chilena [4], estos son el 21% de los sitios, es decir más de 25 mil
sitios. Esto incluye sitios que usan Flash en su portada, otros que son o hacen
una llamada a un programa y unos pocos que usan mapas de imágenes anti
cuados. Muchos de estos sitios tienen una portada impenetrable de más de
100Kbs de código, sin contar imágenes, así que además son poco visibles,
pues en un módem normal tardarían al menos 30 segundos en cargarse.
Uno puede perdonar que la mayoría de las empresas chilenas no sepan
que Flash o Javascript mal usado convierte sus sitios en bóvedas de seguri
dad. Sin embargo, hay casos en que esto es imperdonable:
• La empresas de tecnologías de la información no pueden apelar
a la excusa de ser ignorantes.
• Los sitios de gobierno deben ser los más públicos, visibles1
y fá
ciles de encontrar de la Web.
• Las empresas donde la información es uno de sus valores fun
damentales. ¡Y sin mencionar las empresas de este tipo que no
tienen sitio Web!
1 Por ejemplo, cuando su portada hace difícil la navegación.
31](https://image.slidesharecdn.com/libroweb-nv-151029191534-lva1-app6892/85/Libro-web-nv-39-320.jpg)
![Capítulo 2 Anatomía de la Web
La Web como un Grafo
Imaginemos que por cada persona que conocemos existe una conexión
directa entre ella y sus amigos. Por ejemplo, un número telefónico. Si hace
mos esto para todas las personas del mundo, tenemos un grafo (como los de
la Figura 2.2) muy grande. En ese grafo podemos ahora medir “distancias”
entre dos personas usando el número mínimo de llamadas telefónicas que
necesita una persona para contactar con otra. Por ejemplo, si la persona que
quiero contactar está en China es posible que si yo conozco una persona que
conoce a una persona en China, el número de llamadas sea pequeño (en el
mejor caso, sólo tres llamadas). La distancia máxima entre dos personas se
llama el diámetro del grafo, usando una analogía geométrica. A mediados de
los sesenta, Milgram realizó un famoso experimento utilizando paquetes de
correo y estimó que el diámetro dentro de Estados Unidos era 6.
Para que un grafo tenga un diámetro pequeño debe tener muchas cone
xiones. Si todas las conexiones existen, el diámetro es 1. Por otra parte, un
grafo aleatorio tiene un diámetro mucho mayor. Un modelo de grafo que re
presenta bien este fenómeno es aquel en el que cada persona está conectada
con todas las personas cercanas (geográficamente) y sólo con algunas lejanas
de manera aleatoria y con una distribución de probabilidad uniforme. Este
modelo se llama smallworld o mundo pequeño, valga la redundancia, y tam
bién representa bien la red neuronal de un gusano y la red eléctrica del oeste
de Estados Unidos, entre otros casos [2].
A finales de los 90, Albert, Jeong y Barabási midieron la distancia (nú
mero mínimo de enlaces para llegar de una página a otras) entre 330 mil
páginas de la Web [5]. Con esto aproximaron el diámetro con una función lo
garítmica en el número de páginas. Al extrapolar esta función, considerando
que el número de páginas Web es de más de mil millones de páginas, obtu
32](https://image.slidesharecdn.com/libroweb-nv-151029191534-lva1-app6892/85/Libro-web-nv-40-320.jpg)
![Capítulo 2 Anatomía de la Web
vieron que el diámetro de la Web es aproximadamente 19. Es decir, con 19
clicks del ratón llegamos a cualquier página Web del planeta. Ellos y otros
autores sugieren que un buscador podría aprovechar esto para encontrar rá
pidamente la página deseada. Sin embargo, esto significa saber qué enlace
seguir, un problema que no es trivial.
Aunque el modelo de mundo pequeño podría ser válido en la Web,
este modelo no explica cómo una persona que sólo tiene conocimiento local
puede saber a quién contactar para encontrar a otra persona. Recientemente,
Kleinberg [6] ha modificado el modelo original, de tal modo que las conexio
nes lejanas no siguen una distribución uniforme, sino que una que es
inversamente proporcional al cuadrado de la distancia. Esta distribución es
óptima en el sentido que minimiza el número promedio de llamadas que ha
ría una persona para contactar a otra, y explica lo que ocurre en la práctica.
La Web es más que un simple conjunto de documentos en distintos ser
vidores, ya que existen relaciones de información entre los documentos
mediante los enlaces que establecen entre ellos. Esto presenta muchas venta
jas, tanto para los usuarios, a la hora de buscar información, como para los
programas que recorren la Web a la hora de buscar contenido para recolectar
(probablemente para un motor de búsqueda). Debido a esto se plantea la
Web como un modelo de grafo dirigido, en el que cada página es un nodo y
cada arco representa un enlace entre dos páginas.
En general las páginas enlazan a páginas similares, de modo que es po
sible reconocer páginas mejores que las demás, es decir, páginas que reciben
un número mayor de referencias que lo normal. En base a esto la Web tiene
una estructura que se puede clasificar como red libre de escala. Dichas redes,
al contrario de las redes aleatorias, se caracterizan por una distribución dis
pareja de enlaces y porque dicha distribución sigue una ley de Zipf. Los
nodos altamente enlazados actúan como centros que conectan muchos de los
33](https://image.slidesharecdn.com/libroweb-nv-151029191534-lva1-app6892/85/Libro-web-nv-41-320.jpg)
![Capítulo 2 Anatomía de la Web
La Web Chilena
Definimos como sitio Web chileno aquel que termina en .cl o el cual su
IP pertenece a un proveedor chileno de Internet. El último estudio realizado
con datos de 2006 mostró los siguientes resultados: La Web chilena está com
puesta por más de 170.000 sitios, y estos contienen más de 7 millones de
páginas. Muchas de sus características son muy similares a las de la Web
global en general.
• El 14% de los sitios están conectados entre sí a través de enlaces
y tienen el 53,3% de las páginas. Por otro lado, el 49,5% de los sitios
está completamente desconectado en términos de enlaces, pero re
presentan sólo el 14% de las páginas.
• Un sitio promedio tiene 43 páginas, contenidas en 0,304 MiB,
con 1,56 referencias desde otros sitios.
• Un dominio promedio tiene 1,08 sitios y 46,61 páginas, conteni
das en 0,328 MiB.
38
Figura 2.4: Dinámica de la estructura del grafo de la Web Chilena entre los años
2000 y 2002 [3].](https://image.slidesharecdn.com/libroweb-nv-151029191534-lva1-app6892/85/Libro-web-nv-46-320.jpg)
![Capítulo 3 Internet
46
(a)
(b)
Figura 3.1: (a) Flujo de las News en 1993, (b) nombres inscritos bajo el
dominio .cl en 1993. Tomados de [1].](https://image.slidesharecdn.com/libroweb-nv-151029191534-lva1-app6892/85/Libro-web-nv-54-320.jpg)
![Capítulo 3 Internet
El gobierno de Internet
En inglés se habla de “Internet Governance”, que más que un gobierno
es una forma de control y supervisión del sistema que nos dé garantías de
que esto funcione en forma estable para todos.
En un inicio, cuando Chile se conectó a Internet en 1992, un par de per
sonas controlaban los servicios y asignaban recursos casi sin formalidad
alguna. Solicitamos3
a Jon Postel, quien manejaba los nombres de dominio,
que nos asignara la administración de .cl ya que estaba vacante. Nos dio la
respuesta positiva rápidamente.
Esto ha cambiado mucho y hoy es muy complejo el tema de la adminis
tración y asignación de responsabilidades en Internet. En esto participa la
comunidad Internet completa, los gobiernos y los organismos internaciona
les como las Naciones Unidas. Al ser de alcance global, Internet no debe ser
controlada por ningún país en particular, pero la comunidad le teme mucho
a una administración burocrática tipo Naciones Unidas.
Por ahora, el organismo que intenta administrar esta discusión y los re
cursos de Internet es ICANN, que es una fundación sin fines de lucro con
residencia en California, Estados Unidos. Su autoridad es bastante cuestio
nada, pero todos respetan sus procedimientos para garantizar la estabilidad
operacional de Internet. A modo de ejemplo, .cl es uno de los pocos domi
nios de país que tiene un acuerdo marco firmado con ICANN especificando
las responsabilidades de cada parte.
Existe una gran batalla de poder en torno a Internet en la actualidad [2].
Algunos opinan que los países deben tomar control sobre sus recursos al ser
un servicio básico, los organismos internacionales consideran que deben
3 Jorge Olivos, Patricio Poblete y yo.
49](https://image.slidesharecdn.com/libroweb-nv-151029191534-lva1-app6892/85/Libro-web-nv-57-320.jpg)
![Capítulo 4
Buscando en la Web
Gonzalo Navarro
Se dice que los más jóvenes no tienen idea de cómo era buscar informa
ción antes que que existiera la Web. Eso es sólo parte de la verdad. Los
menos jóvenes tampoco recordamos gran cosa. Nos resulta un ejercicio de
imaginación muy difícil recordar cómo vivíamos cuando, ante cualquier
consulta, desde cultural hasta de entretenimiento, no podíamos escribir un
par de palabras en nuestro buscador favorito y encontrar inmediatamente
montañas de información, en general muy relevante.
Para operar este milagro no basta con Internet. Ni siquiera basta con la
Web. El ingrediente imprescindible que se necesita son los buscadores o má
quinas de búsqueda. Estos buscadores, cuyos representantes más conocidos
hoy son probablemente Google [1], Yahoo! [2] y Microsoft MSN [3], son los
que conocen en qué páginas de la Web aparecen qué palabras (y saben bas
tante más). Sin un buscador, deberíamos conocer las direcciones Web de
todos los sitios de bibliotecas, o de turismo, o de cualquier tema que nos pu
diera interesar, y los que no conociéramos sería como si no existieran. En un
sentido muy real, los buscadores conectan la Web, pues existen grandes por
ciones de la Web a las que no se puede llegar navegando desde otra parte, a
menos que se use un buscador. No es entonces sorprendente que casi un ter
cio del tiempo que los usuarios pasan en Internet lo dediquen a hacer
búsquedas.
51](https://image.slidesharecdn.com/libroweb-nv-151029191534-lva1-app6892/85/Libro-web-nv-59-320.jpg)
![Capítulo 4 Buscando en la Web
En el crawling se recolectan páginas de la Web, ya sea nuevas o actuali
zadas. El proceso de indexamiento es el que extrae los enlaces que parten de
las páginas leídas y realimenta el crawling con nuevas direcciones para visi
tar, mientras que almacena en el índice la información para qué palabras
aparecen en qué páginas, junto con una estimación de la importancia de ta
les ocurrencias. La búsqueda usa el índice para responder una consulta, y
luego presenta la información al usuario para que éste navegue por ella [4].
Crawling: ¿qué páginas debería conocer
un buscador?
Se llama crawling al procedimiento de visitar páginas para ir actualizan
do lo que el buscador sabe de ellas. Un crawler es un programa que corre en
la máquina del buscador y que solicita a distintos computadores de Internet
que le transfieran el contenido de las páginas Web que él les indica. Para es
tos computadores es casi lo mismo que un crawler o un ser humano visite
sus páginas: debe enviarle el contenido de la página solicitada.
¿Qué páginas debería conocer un buscador? ¡Es tentador responder que to
das! Pero lamentablemente esto no es posible. La Web cambia demasiado
seguido: un porcentaje alto de las páginas cambia de un mes a otro, y apare
ce un porcentaje importante de páginas nuevas. Internet no es lo
suficientemente rápida: se necesitan meses para transmitir todas las páginas
de la Web al buscador. Es simplemente imposible mantener una foto actuali
zada de la Web. ¡Ni siquiera es posible explorarla al ritmo al que va
creciendo! La foto que almacena un buscador es siempre incompleta y sólo
parcialmente actualizada. No importa cuántos computadores usemos para el
buscador. Los mayores buscadores hoy ni se acercan a cubrir el total de la
Web. ¡Es incluso difícil saber cuál es el tamaño real de la Web! Esto es aún
53](https://image.slidesharecdn.com/libroweb-nv-151029191534-lva1-app6892/85/Libro-web-nv-61-320.jpg)
![Capítulo 5
Manejo de grandes volúmenes
de información utilizando
Clusters de computadores
Mauricio Marín
Se estima que la cantidad de texto almacenado en los distintos sitios
Web del mundo es del orden de centenas de Terabytes, y la cantidad de in
formación disponible crece día tras día. En este escenario es evidente que
almacenar y procesar toda esa información utilizando un sólo computador
es prácticamente imposible. Lo que hacen los buscadores actuales es utilizar
muchos computadores para resolver los distintos pasos involucrados en la
producción de una respuesta a una consulta de usuario [1]. A este conjunto
de computadores se les llama cluster.
Un cluster está compuesto de un conjunto de computadores interconec
tados mediante una red que les permite enviarse mensajes entre ellos (ver
figura 5.1). Estos mensajes se utilizan para recolectar la información necesa
ria para resolver una determinada tarea como por ejemplo la solución a una
consulta de un usuario. En el cluster cada computador tiene su propia me
moria RAM y disco para almacenar información. Cada computador puede
leer y escribir información en su propia memoria y si necesita información
63](https://image.slidesharecdn.com/libroweb-nv-151029191534-lva1-app6892/85/Libro-web-nv-71-320.jpg)
![Capítulo 6 XML: Transformando la Web en una Base de Datos
los computadores. Una propuesta para hacer esto es el uso de XML, como se
verá en las siguientes secciones.
XML: Un lenguaje para almacenar
información
Un documento XML (eXtensible Markup Language [2]) es similar a un
documento HTML; está compuesto por marcadores, o “tags”, que están ani
dados como en el caso de HTML. La mayor diferencia es que los marcadores
de HTML tienen significados predefinidos, tales como <title> y <ul>,
mientras que los de XML son definidos por el usuario. Por ejemplo, el si
guiente es un documento XML que almacena la misma información que el
documento HTML mostrado en la sección anterior:
<?xml version="1.0"?>
<libreria>
<nombre>Todo Libros</nombre>
<libro>
<titulo>Teoría de Juegos</titulo>
<autor>
<nombre>Martin</nombre>
<apellido>Osborne</apellido>
</autor>
<autor>
<nombre>Ariel</nombre>
<apellido>Rubinstein</apellido>
</autor>
<precio>16000</precio>
</libro>
</libreria>
78](https://image.slidesharecdn.com/libroweb-nv-151029191534-lva1-app6892/85/Libro-web-nv-86-320.jpg)
![Capítulo 6 XML: Transformando la Web en una Base de Datos
Transformación de documentos XML
Una de las razones para la creación de XML fue tener un formato que
permitiera intercambiar información en la Web. La idea es que si varias per
sonas o empresas desean intercambiar datos sobre un tema común, por
ejemplo libros, y usan formatos XML distintos para almacenar su informa
ción, entonces puedan intercambiar información de manera sencilla. La
forma de hacer esto es usando algún lenguaje de transformación que permi
ta cambiar de un formato a otro. Por ejemplo, si una empresa usa el formato:
<autor>
<nombre>Martin</nombre>
<apellido>Osborne</apellido>
</autor>
para almacenar los nombre de autores de libros, mientras otra usa un forma
to más simple donde el nombre es almacenado como una sola palabra:
<autor>Martin Osborne</autor>
entonces una regla de transformación desde el primer formato al segundo
debe concatenar el nombre y apellido de un autor para generar su nombre
como una sola palabra.
XML fue elegido como el lenguaje para intercambiar información por
su gran flexibilidad, esencialmente cualquier documento XML es válido
mientras la anidación de los marcadores sea correcta. El lenguaje elegido
para especificar las transformaciones fue XSLT (Extensible Stylesheet Lan
guage Transformations [3]). Este es un lenguaje que busca patrones dentro
de un documento e indica cómo reestructurarlos. Por ejemplo, busca el tag
<autor>, y después indica que las palabras que aparecen dentro de <nom
bre> y <apellido> para este autor tienen que ser concatenadas.
80](https://image.slidesharecdn.com/libroweb-nv-151029191534-lva1-app6892/85/Libro-web-nv-88-320.jpg)
![Capítulo 6 XML: Transformando la Web en una Base de Datos
Extracción de información desde XML
En las secciones anteriores se mostró un enfoque para almacenar infor
mación en la Web en el cual los datos son almacenados en XML y mostrados
a los usuarios en HTML (utilizando transformaciones escritas en XSLT). Se
argumentó que éste era un buen enfoque porque permitía tener lo mejor de
dos mundos: por una parte para un computador es más fácil interpretar in
formación escrita en XML, y por lo tanto es más fácil extraer información
desde este formato; y por otra parte HTML provee de buenas herramientas
para desplegar información en la Web.
Para que el enfoque anterior pueda llevarse a cabo es necesario tener
buenos lenguajes de consulta para XML. Estos lenguajes deben ser suficien
temente expresivos como para permitir al usuario expresar consultas
generales, y también deben estar acompañados de procedimientos eficientes
para evaluar consultas. En esta sección se va a introducir XPath y XQuery,
los dos lenguajes de consulta más populares para XML.
La primera versión estandarizada de XPath es de 1999 [4]. XPath puede
ser considerado como el lenguaje de consulta más popular para XML, ya que
forma parte de la mayor parte de los lenguajes de consulta para XML y, en
particular, es parte de XQuery [1], como se verá más adelante. XPath provee
una serie de herramientas que permiten navegar un documento XML, selec
cionar elementos desde él y extraerlos para ser desplegados o usados por
otras consultas. Una de las razones de la popularidad de XPath es que estas
herramientas son simples de usar, y son lo suficientemente expresivas para
poder manejar muchas de las consultas que los usuarios tienen en la prácti
ca. Además, la estructura simple de este lenguaje ha permitido el desarrollo
de procedimientos eficientes para evaluar consultas.
85](https://image.slidesharecdn.com/libroweb-nv-151029191534-lva1-app6892/85/Libro-web-nv-93-320.jpg)
![Capítulo 6 XML: Transformando la Web en una Base de Datos
La mejor manera de entender XPath es a través de algunos ejemplos.
Suponga que se está utilizando el documento XML con información sobre li
bros descrito en la sección 6.1, y que se ha utilizado repetidas veces en este
capítulo. Si un usuario quiere extraer el nombre de la librería, entonces pue
de utilizar la siguiente consulta XPath:
child/?nombre/text()
Esencialmente una consulta en XPath consiste de un camino, y su res
puesta es el conjunto de todos los elementos que pueden ser alcanzados en
un documento XML, siguiendo el camino desde el primer elemento de este
documento. En una consulta XPath se pueden utilizar palabras que tienen
un significado reservado (child y text() en el ejemplo) o palabras cuyo
significado está dado por un documento (nombre en el ejemplo). Además, en
una expresión XPath se puede utilizar el símbolo ? para indicar que se quie
re chequear una condición. En el ejemplo, la palabra reservada child es
utilizada para pasar de un elemento a sus hijos y ?nombre indica que sólo se
va a considerar los elementos con marcador <nombre>. De esta forma, utili
zando la expresión child en el ejemplo se pasa de un elemento con
marcador <libreria> a los que tiene marcadores <nombre> y <titulo>, y
luego utilizando el test ?nombre se selecciona el único elemento con marca
dor <nombre> hijo del elemento con marcador <libreria>. Finalmente se
utiliza text() para extraer el texto almacenado dentro del elemento con
marcador <nombre>, vale decir, Todo Libros.
Es importante destacar que para simplificar la presentación del lengua
je XPath, no se está usando aquí la sintaxis de XPath definida en [4], sino que
una versión simplificada (pero que refleja la forma en que trabaja XPath).
Suponga ahora que se quiere extraer la lista de apellidos de todos los
autores de libros. Para hacer esto, se puede utilizar la siguiente consulta:
descendant/?apellido/text()
86](https://image.slidesharecdn.com/libroweb-nv-151029191534-lva1-app6892/85/Libro-web-nv-94-320.jpg)
![Capítulo 6 XML: Transformando la Web en una Base de Datos
completo, que usa XPath para navegar documentos XML y tiene herramien
tas para estructurar la información extraída como un documento XML [1].
En el siguiente ejemplo se muestra una consulta XQuery:
let $lib := doc("libreria.xml")
return
<lista>
{
for $x in $bib/child/?libro
for $y in $x/descendant/?apellido
where $y/text() = Rubinstein
return
<libro>
{
<titulo> $x/descendant/?titulo/text() </titulo>
<precio> $x/descendant/?precio/text() </precio>
}
</libro>
}
</lista>
Al igual que para el caso de XPath, en una consulta XQuery pueden
aparecer elementos que tienen un significado predefinido y otros que deben
ser interpretados en un documento XML. En la consulta anterior, let es uti
lizado para indicar que la variable $lib está ligada al documento
libreria.xml (una variable en XQuery comienza con el símbolo $). Ade
más, en esta consulta for es usado para indicar que una variable debe tomar
todos los valores alcanzados al utilizar un camino en XPath. Por ejemplo,
for $x in $bib/child/?libro indica que $x va a tomar como valor los
elementos con marcador <libro> que son hijos del primer elemento del do
cumento. Nótese que al igual que en un lenguaje de programación, las
88](https://image.slidesharecdn.com/libroweb-nv-151029191534-lva1-app6892/85/Libro-web-nv-96-320.jpg)
![Capítulo 7
Uso y Búsqueda de
Información Geográfica en la
Web
Andrea Rodríguez
Si bien es cierto que en sus primeros tiempos la Web contenía esencial
mente documentos textuales, hoy en día y en forma creciente la Web
contiene también información en forma de imágenes, mapas, audio y videos.
Esto amplía las posibilidades para que buscadores tradicionales incorporen
nuevas facilidades en la búsqueda de información y formas de presentar los
resultados de estas búsquedas. Un ejemplo de esto es el ya conocido Google
Earth [4], el cual nos brinda la posibilidad de combinar imágenes satelitales,
mapas, levantamientos de terreno o edificaciones en 3 dimensiones para po
der entregar información referente a lugares específicos (ej. hoteles,
hospitales, etc.), explorar información geográfica general en forma de videos
o mapas (ej. paisajes, mapas de transporte, etc.) y compartir lugares de inte
rés agregando información adicional (ej. fotos, notas, etc.).
Lo que hace que Google Earth no sea sólo un conjunto de imágenes es
que éstas tienen la semántica dada por un dominio particular de informa
ción, en este caso, como información geográfica. Lo interesante es que si
sabemos de qué trata la información, entonces podemos usar propiedades tí
93](https://image.slidesharecdn.com/libroweb-nv-151029191534-lva1-app6892/85/Libro-web-nv-101-320.jpg)
![Capítulo 7 Uso y Búsqueda de Información Geográfica en la Web
• Textos, en los que las referencias a localizaciones geográficas se
dan, principalmente, mediante nombre de lugares y terminologías
en lenguaje natural para las relaciones con otros lugares.
Con el primer y segundo tipo de información geográfica uno puede
asociar información a la localización de un lugar por las coordenadas que
describen su latitud y longitud. Tal tipo de información se utiliza típicamen
te en la visualización y manipulación de mapas a través de servicios Web de
información geográfica o Geo Web Services. Google Maps [5] cae dentro de este
tipo de servicios proveiendo una plataforma base de cartografía e imágenes
satelitales que nos permiten situarnos en un punto particular del espacio.
El segundo tipo de información geográfica también representa elemen
tos en el espacio geográfico aunque, implícitamente, mediante referencias
que no están basadas en un sistema de coordenadas, sino que, más bien, se
asocian a diferentes aspectos de un documento en la Web, específicamente:
• dónde fueron creados los documentos,
• de qué tratan o a qué se refieren los documentos,
• dónde residen los usuarios de los documentos.
A modo de ejemplo de estos tipos de referencias geográficas, un usua
rio podría requerir manejar las páginas de la Web Chilena o encontrar
documentos que hagan referencia a Concepción o a alguna entidad geográfi
ca relacionada a esa ciudad, o bien determinar los documentos que son
usualmente visitados por usuarios ubicados en Concepción. El manejo de es
tas referencias geográficas han impulsado la extensión de las máquinas
tradicionales de búsqueda, dando origen a las denominadas máquinas de bús
queda Web geográfica o Geo Web Search Engines.
95](https://image.slidesharecdn.com/libroweb-nv-151029191534-lva1-app6892/85/Libro-web-nv-103-320.jpg)
![Capítulo 7 Uso y Búsqueda de Información Geográfica en la Web
La tecnología de GWSs se basa en una serie de protocolos estándares
derivados del XML a diferentes niveles de especificación, desde especifica
ción de información geométrica hasta descripción de metadatos. Debido a
que el número de GWSs disponibles hoy en día en la Web crece de manera
rápida y continua, adicionalmente a los problemas intrínsecos de la gran di
versidad en la forma de describir y representar información geográfica,
descubrir los servicios que contienen los datos geográficos de interés entre to
dos los servicios disponibles es una tarea central para el desarrollo de GWSs.
Comúnmente, el descubrimiento de servicios Web es del tipo sintáctico a tra
vés de interfaces estándares para una búsqueda basada en taxonomías o
palabras claves.
En presencia de diferentes proveedores de información geográfica, sin
embargo, es usual que una simple búsqueda sintáctica no permita un descu
brimiento apropiado de información. Consideremos, por ejemplo, el caso de
querer encontrar mapas que describan parques nacionales en el sur de Chile.
Uno debería hacer una búsqueda por parques nacionales y por el sur de Chile
(la relación en es generalmente eliminada en los buscadores tradicionales) o
por una secuencia fija de caracteres parques nacionales en el sur de Chile. Esta
búsqueda meramente sintáctica no podría considerar los siguientes aspectos
de la semántica de la consulta:
• ¿Qué zonas incluye el sur de Chile?
• ¿Cuál es la semántica de la relación en? ¿Qué sucede si un par
que nacional se sobrepone a dos zonas geográficas (centro y sur de
Chile)?
• ¿Son los parques administrados en la región considerados na
cionales o no?
Todos estos aspectos han inducido a nuevos trabajos dentro del contex
to de Web Semántica denominado Geo Web Semántica [1,8]. La idea es crear
98](https://image.slidesharecdn.com/libroweb-nv-151029191534-lva1-app6892/85/Libro-web-nv-106-320.jpg)
![Capítulo 7 Uso y Búsqueda de Información Geográfica en la Web
representaciones de los recursos de información geográfica, y asociar estos
recursos con estructuras de representación formales que están siendo cons
truidas en el contexto de la Web Semántica.
Máquinas de búsqueda Web geográfica
Máquinas de búsqueda Web geográfica (MBGs) surgen como una nue
va forma de recuperar información de la Web que explota dos ideas básicas:
(1) recursos en la Web tienen una referencia geográfica e (2) información ge
ográficamente cercana es más relevante. La ideas de estas máquinas de
búsqueda es que uno pueda preguntar por palabras claves y por una locali
dad geográfica, de manera que los resultados de una búsqueda sean
documentos que hagan referencia a esa localidad o a alguna geográficamen
te cercana [7]. Así, los resultados pueden no sólo ser presentados como una
lista de documentos en orden de relevancia, sino que visualmente como sím
bolos sobre un mapa cuyas ubicaciones indican la existencia de documentos
que las referencian. Una arquitectura para estas máquinas extiende la arqui
tectura clásica de máquinas tradicionales (figura 7.3).
Tres aspectos importantes en la implementación de una MBG son: (1)
cómo extraer las referencias geográficas y asociar un geo coding a los docu
mentos Web, (2) cómo realizar el indexamiento de las páginas según su geo
referencia y contenido de manera de agilizar su búsqueda por palabras cla
ves y por nombre de lugares, y (3) cómo introducir en la relevancia (i.e.
ranking) de los resultados el concepto de vecindad espacial o proximidad de
los documentos respecto a una consulta de un usuario. Mientras los dos últi
mos aspectos incorporan a los mecanismos de indexamiento y relevancia de
buscadores tradicionales nociones referente al manejo de información espa
cial, geo coding es una tarea particular de MBGs.
99](https://image.slidesharecdn.com/libroweb-nv-151029191534-lva1-app6892/85/Libro-web-nv-107-320.jpg)
![Capítulo 7 Uso y Búsqueda de Información Geográfica en la Web
Extraer las geo referencias de una página Web no es una tarea fácil.
Una de las formas más simples de geo referenciar una página Web es consi
derar la localización del servidor que la contiene como lugar de referencia.
Otra forma de asociar geo referencias a documentos Web es agregando in
formación de metadatos geoespaciales (geo tags), denotando que el
contenido de la página Web es relevante para cierta localización. Esta locali
zación puede ser descrita usando protocolos estándares basados en XML
tales como el GeoRSS [6]. Finalmente, otras técnicas realizan un parsing o
100
Figura 7.3: Una arquitectura para máquinas de búsqueda de información
geográfica compuesta de: (1) crawling para recolección y segmentación de
páginas Web en texto y geo referencias, (2) indexamiento para generar un índice
que agilice la búsqueda en base a términos y geo referencias, y (3) la búsqueda
que recupera y selecciona documentos en base a un ranking por contenido (texto)
y proximidad (espacio).](https://image.slidesharecdn.com/libroweb-nv-151029191534-lva1-app6892/85/Libro-web-nv-108-320.jpg)
![Capítulo 8
Multimedia en la Web
Javier Ruiz del Solar
El universo creciente de la información
mutimedial en la Web
El mundo digital en el cual estamos inmersos genera un número in
menso y siempre creciente de datos digitales, que cada día es más difícil de
administrar. Cámaras fotográficas, cámaras de video digital, audio digital,
televisión digital, Internet (mensajes instantáneos, Emails, etc.), música y vi
deos disponibles en la Web son algunas de las principales fuentes de estos
datos digitales. De acuerdo al estudio How much information? [1] en el año
2002 cinco exabytes de información fueron creados en el mundo (1 exabyte
corresponde a 1018
bytes ó 109
gigabytes!), 92% de esta información fue alma
cenada en discos duros y alrededor de 1,75% se hizo accesible a través de la
Web. No se cuenta con datos más recientes, pero se estima que la cantidad
de información generada crece a tasas mayores al 30% anual.
De esta forma la Web se está transformando en una base de datos mul
timedial4
gigantesca. Sin embargo, esta información almacenada en la Web
4 La palabra multimedia viene de unir las palabras del latín multum (múltiples,
muchos) y medium (medios), osea, significa que la información multimedial pro
viene de múltiples medios como texto, audio, gráficos, fotografías, videos y ani
103](https://image.slidesharecdn.com/libroweb-nv-151029191534-lva1-app6892/85/Libro-web-nv-111-320.jpg)
![Capítulo 8 Multimedia en la Web
es útil siempre y cuando poseamos los mecanismos necesarios para encon
trar la información que requerimos, por ejemplo, la canción o la fotografía
que necesitamos en un determinado momento. Puede suceder que a pesar
de que la imagen o canción se encuentre en la Web, no seamos capaces de
encontrarla. Es tal el tamaño de la Web que son necesarias herramientas que
nos ayuden en las labores de búsqueda. Estas herramientas deben ser más
sofisticadas que las empleadas en los buscadores tradicionales (por ejemplo,
Google o Yahoo!), las cuales fueron diseñadas para búsqueda de texto, no de
datos multimediales.
Para simplificar el proceso de búsqueda de información multimedial se
requiere que en el momento en que la información sea hecha pública en la
Web, ésta sea correctamente clasificada o anotada. Es decir, a la información
que se almacenará se le debe dar una descripción adecuada, generalmente
textual (un nombre o una frase) que permita que la información pueda luego
ser recuperada. Cuando la información a ser hecha pública es un objeto mul
timedial conocido, una canción o una película, la información del título es
suficiente para que éste pueda ser encontrado fácilmente. Piense por ejemplo
en las canciones disponibles en el sitio itunes [2].
Sin embargo, cuando el objeto multimedial no es conocido, no es fácil
determinar cuál es el mejor texto que lo describe. ¿Cómo podríamos anotar
adecuadamente las miles de fotografías digitales que tenemos almacenadas
en los discos duros de nuestros computadores, o las horas de video digital
almacenadas en cintas de video, o la información generada por todos los ca
nales de noticias del mundo, en caso que se quisieran dejar disponibles en la
Web?
maciones. Usualmente la información de texto puro no se considera contenido
multimedial.
104](https://image.slidesharecdn.com/libroweb-nv-151029191534-lva1-app6892/85/Libro-web-nv-112-320.jpg)
![Capítulo 8 Multimedia en la Web
El problema no es solamente temporal, es decir, de tener el tiempo sufi
ciente para realizar las anotaciones, sino de cómo describir el contenido de
una cierta fotografía o video. Distintas personas generarán distintas descrip
ciones en distintos instantes de tiempo. Por ejemplo, una persona de nombre
Juan puede sacarse una fotografía durante sus vacaciones en Isla de Pascua.
En la fotografía aparece Juan con su amiga María, una playa y una embarca
ción de nombre Anakena. ¿Cuál es la mejor descripción o anotación para
esta fotografía? ¿Juan? ¿Juan en vacaciones?, ¿Juan y María? ¿Anakena? ¿pa
reja en la playa? ¿vacaciones en Isla de Pascua? ¿playa? ¿mar? ¿arena?
¿embarcación en la playa? Obviamente todas estas anotaciones podrían utili
zarse, sin embargo, al momento de publicar la fotografía no puede saberse
cuál es la mejor descripción. La mejor dependerá de qué se esté buscando y
de quién realice la búsqueda. El problema obvio es que la anotación y la bús
queda de la fotografía suceden en distintos instantes, por lo que al anotar la
imagen no se conoce los requerimientos de sus futuras operaciones de bús
queda.
Una segunda alternativa para anotar objetos multimediales consiste en
usar categorías fijas como las que por ejemplo usa el sitio YouTube [3] para
clasificar sus videos. El problema en este caso es que a la fotografía o al vi
deo a ser publicado se le debe asignar una cierta categoría fija. Los
problemas son obvios: el objeto multimedial a ser clasificado puede caer en
más de una categoría y la determinación de la categoría depende del ser hu
mano que realice la categorización.
Una tercera alternativa para realizar las anotaciones es permitir que un
sistema computacional puedan realizar las anotaciones en forma automati
zada (sin intervención humana) y por lo tanto objetiva. En este caso
pediremos al sistema computacional que genere una descripción del objeto
multimedial a ser anotado. Esta descripción se usará posteriormente como
105](https://image.slidesharecdn.com/libroweb-nv-151029191534-lva1-app6892/85/Libro-web-nv-113-320.jpg)
![Capítulo 8 Multimedia en la Web
Búsqueda o Recuperación de
información multimedial
Las operaciones de búsqueda de información multimedial, también co
nocidas como recuperación6
de información multimedial, se realizan
utilizando los descriptores almacenados en la base de datos junto a los obje
tos multimediales7
. El sistema ideal de búsqueda debiera, a partir de una
descripción textual en lenguaje natural del contenido de una imagen, encon
trar todas aquellas imágenes que corresponden a dicho contenido, sin
importar como éstas fueron anotadas. Por ejemplo, “imágenes con perros”,
“imágenes del hundimiento de un barco”, “imágenes de Isla de Pascua”,
“fotos de mi mamá”, etc. Sin embargo, este sistema ideal no es realizable en
la actualidad. Si las imágenes fueron anotadas usando descriptores textuales
es muy poco probable que las personas que anotaron dichas imágenes hayan
utilizado los mismos descriptores textuales usados en la operación de bús
queda. Si las imágenes fueron anotadas utilizando un sistema de indexación
automatizada en base a su contenido de bajo nivel (color, bordes, textura,
etc.) es difícil encontrar la adecuada correspondencia entre los descripciones
textuales de alto nivel utilizados por los seres humanos, para describir el
contenido de las imágenes, y las descripciones de bajo nivel utilizadas por
los sistemas computacionales de recuperación de imágenes. Este problema
se conoce como el gap semántico existente entre las descripciones de bajo y
alto nivel [4].
Debido al no resuelto problema del gap semántico, en la actualidad
debe utilizarse el mismo tipo de descriptores tanto para anotar como para
6 En la literatura científica de habla inglesa esta operación se conoce como retrieval.
7 Recordemos que en nuestro caso estamos interesados en bases de datos accesibles
a través de la Web.
108](https://image.slidesharecdn.com/libroweb-nv-151029191534-lva1-app6892/85/Libro-web-nv-116-320.jpg)
![Capítulo 9 Redes Sociales
pos de influencia [4]. Las asociaciones profesionales son un buen ejemplo
donde las aristas débiles pueden resultar sumamente útiles para el desarro
llo profesional de una persona.
Parte del análisis en la estructura de estas redes implica determinar la
importancia de determinado nodo para el conjunto. Las medidas más comu
nes para determinar esta importancia son [2]:
Centralidad (Degree Centrality): Dependerá de la cantidad de aristas
que conectan a una persona en el conjunto. Los nodos más conectados son
más centrales. En el ejemplo de la Figura 9.1, si consideramos un grafo dado
por el subconjunto de cinco personas formado por: Jorge, Karen, Josefina,
Rosa y Florencia, Florencia sería la persona más central.
Cercanía (Closeness Centrality): Depende de la longitud de suma de
las aristas que conectan a una persona con todas las demás. Aproxima su
“peso”; su capacidad para llegar en pocos pasos a cualquiera. En el grafo del
ejemplo (figura 9.1), Jorge y Josefina tienen el mayor grado de cercanía.
Intermediación (Betweenness Centrality). Es una medida del número
de veces que un nodo aparece en el camino más corto entre otros dos nodos.
La intermediación nos da una aproximación al peso como conector (como
hub) del nodo, su importancia para que la red se mantenga unida. En el grafo
del ejemplo (figura 9.1), Sergio tiene el mayor grado de intermediación.
El estudio en la forma de las redes sociales permite determinar la utili
dad de éstas para los individuos que las conforman, así como su dinámica.
Por ejemplo, el flujo de influencia dentro de una compañía más allá de los
roles de trabajo. Este enfoque ha permitido importantes desarrollos en el es
tudio de las redes sociales que integramos en la vida diaria, y ha sido muy
valioso en el estudio de la difusión de enfermedades contagiosas [4].
115](https://image.slidesharecdn.com/libroweb-nv-151029191534-lva1-app6892/85/Libro-web-nv-123-320.jpg)
![Capítulo 9 Redes Sociales
Redes Sociales y Software
Las redes computacionales surgen como una forma de potenciar la co
municación en redes humanas de trabajo. El desarrollo de Internet y el
aumento en la capacidad computacional de los servidores ha permitido el
desarrollo de diversos formatos para redes tecnológicas que soportan el fun
cionamiento de redes sociales y la construcción de nuevas redes sociales.
Las redes sociales computacionales están permitiendo a las personas
crear nuevas dinámicas de comunicación más potentes que las anteriores.
Diferentes estudios han descubierto que estas redes de software permiten a
las personas tanto fortalecer sus redes sociales actuales como formar nuevas
redes de manera efectiva [1]. Hoy en día podemos analizar prácticamente
cualquier servicio o sistema de Internet en términos de redes sociales.
Todas estas redes tecnológicas serían inútiles si no se nutrieran de la co
municación entre las personas; incluso hay quienes han expresado esto en
términos matemáticos. Bob Metcalfe, uno de los inventores de Ethernet, de
terminó, en relación con las redes de telecomunicaciones, que la utilidad de la
red crece en relación al cuadrado de la cantidad de usuarios conectados (Ley de
Metcalfe). Posteriormente, David Reed descubrió que esta fórmula quedaba
corta para describir Internet, ya que además de permitir comunicaciones
persona a persona permite la creación de grupos. La ley de Reed postula que
la utilidad de una red, en particular las redes sociales, crece en forma exponencial a
la cantidad de personas que la integran [6].
Aplicaciones de Redes Sociales
A continuación describimos algunos de los ejemplos más comunes de
redes sociales mediatizadas por software:
116](https://image.slidesharecdn.com/libroweb-nv-151029191534-lva1-app6892/85/Libro-web-nv-124-320.jpg)
![Capítulo 9 Redes Sociales
es una aplicación similar en Español. Orkut permite organizar redes de con
tactos y grupos para la participación en foros. Fotolog permite a millones de
personas en el mundo publicar sus fotografías y seguir las fotos de sus ami
gos.
4.1 Facebook: Es una comunidad online cerrada, donde los perfiles
pueden editarse para ser visibles sólo a tus amigos. Se presenta como una
plataforma sobre la que se pueden montar aplicaciones para que las perso
nas se comuniquen en variados formatos. Facebook goza de gran
popularidad y crecimiento, y ha tenido una importante penetración en Chile
a partir de fines de 2007. Facebook permite, a través de la opción ver amigos
comunes, explorar el fenómeno del mundo pequeño en tus redes sociales. Ver
Cap. 2.
5. Blogs: Estas bitácoras personales cuentan con diferentes tipos de co
nexión hacia otras personas. Un blog cita a otro como fuente de información,
puede opinar acerca de lo que otro ha publicado, y muchos blogs muestran
explícitamente una lista de sus blogs relacionados o amigos. Son tres formas
de describir relaciones entre los blogs que revelan y crean redes sociales [5].
El análisis de estos links y su frecuencia dará cuenta de la red social entre
sus autores.
5.1 La coctelera: Es un sistema de blogs con sede en España que cuenta
con varias de las herramientas para fomentar la interacción de los usuarios,
lo que la transforman en un buen ejemplo de red social.
En el perfil de usuario de La Coctelera (figura 9.2) podemos ver una va
riedad de elementos:
Reseña del autor: permite incluir tu nombre, ubicación (ciudad y país),
una fotografía y una pequeña descripción. Esta reseña permitirá a los nuevos
visitantes conocer la información básica del autor.
118](https://image.slidesharecdn.com/libroweb-nv-151029191534-lva1-app6892/85/Libro-web-nv-126-320.jpg)
![Capítulo 9 Redes Sociales
comunes para generar de esta manera las recomendaciones personalizadas.
Mientras mayor sea el historial de tu perfil, mayor será la precisión de las re
comendaciones. Ver Cap. 10.
8. Redes P2P: Peertopeer (inglés) significa conexión entre pares. Estas
redes son descentralizadas, no cuentan con un servidor central en su distri
bución, sino con un conjunto de nodos de igual relevancia [4]. En la práctica
las redes P2P se presentan en diferentes formas: unas son puramente distri
buidas y otras se apoyan en servidores centrales para realizar sus funciones.
El uso más popular de las redes P2P ha sido el intercambio de música y
videos entre personas particulares. Estos intercambios de música y películas
muchas veces implica la violación a derechos de autor de dicho material, lo
que ha significado problemas legales para las los creadores del software que
han diseñado estas redes. Actualmente, las redes P2P han encontrado la for
ma de desligarse de la responsabilidad legal por tales violaciones. Algunos
ejemplos populares de estas redes son: Napster, Kazaa, Gnutella, BitTorrent.
Sitios y Aplicaciones Mencionados
• AIM (http://www.aim.com/http://www.aim.com/)
• Amazon (http://www.amazon.com/http://www.amazon.com/) tienda gigante de co
mercio electrónico, la que comenzó como una librería pronto se
transformó en la tienda más grande del mundo. Actualmente vende
toda clase de productos.
• BitTorrent (http://www.bittorrent.com/http://www.bittorrent.com/) es un protocolo P2P
para el intercambio de archivos.
122](https://image.slidesharecdn.com/libroweb-nv-151029191534-lva1-app6892/85/Libro-web-nv-130-320.jpg)
![Capítulo 10
Clasificación y Filtrado de
Información en la “Web Viva”
Carlos Hurtado Larraín
Gran parte de la Web corresponde a información estable o que cambia
lentamente. Ésta incluye sitios corporativos y personales casi estáticos, cono
cimiento “enciclopédico” e información que se revisa poco a través del
tiempo. Hay otra Web, llamada “Web viva”, que se refresca minuto a minu
to, que está compuesta, principalmente, por sitios de noticias, weblogs y
comunidades digitales. Lo que interesa a los usuarios de esta Web es lo no
vedoso, lo que apareció en el último día, en las últimas horas, o incluso
minutos. Es la Web en la que nadie se baña dos veces en la misma informa
ción. El adjetivo “viva” no sólo apela a su dinamismo, sino a que su
contenido, videos, fotografías, artículos, etc., es generado por comunidades
digitales donde interactúan millones de personas en el mundo: la llamada
Web 2.0 [14] con aplicaciones como Flickr, YouTube, Del.icio.us, Facebook,
Twitter, etc. y los más de 70 millones de weblogs y variantes como video
logs, linklogs y fotologs del planeta.
Este espacio de información fue recién tomado en cuenta por los princi
pales buscadores de la Web (Google, Yahoo!, MSN) un par de años atrás. En
ese entonces, la instantaneidad de la información no era requerimiento aten
dido por estos sistemas de búsqueda. Entregar información fresca era en
127](https://image.slidesharecdn.com/libroweb-nv-151029191534-lva1-app6892/85/Libro-web-nv-135-320.jpg)
![Capítulo 10 Clasificación y Filtrado de Información en la “Web Viva”
ma, proviene del mundo de los medios de prensa, radio y televisión, donde
contenido como fotografías, videos y noticias, entre otros, es diariamente
sindicado alrededor del planeta.
La sindicación de contenido es un práctica cada día más extendida en la
Web: compañías de música sindican información sobre discografía que lue
go es publicada por sitios de comercio electrónico; bolsas de comercio
sindican información en línea sobre el valor de acciones que es procesada
por portales financieros; la mayoría de las comunidades digitales emergen
tes están sindicando información con el objeto de llegar cada día a más
usuarios.
En la Web, la información sindicada es procesable por computadores,
es decir, es fácil para un programa computacional sencillo, detectar los atri
butos más importantes de un artículo, video, imagen, etc. sindicado. Para
que esto sea posible existen formatos que permiten describir la información
sindicada. El más antiguo de estos formatos, “RDF Site Summary” (RSS), fue
desarrollado por Ramanhatan Guha, mientras trabajaba para Netscape, el
año 1999. En poco tiempo, RSS derivó en una colección de formatos que in
cluye “Really Simple Syndication”, “RDF Site Summary” y “Rich Site
Summary” [2]. En 2003 apareció un nuevo formato alternativo, Atom, apo
yado por el consorcio de la Web (W3C) con la finalidad de unificar las
propuestas anteriores. En la actualidad, RSS y Atom (en adelante usaremos
el término RSS para referirnos a ambos formatos) compiten por establecerse
como estándares de facto en la Web. El potencial de estos formatos es enor
me, por ejemplo, hoy podemos recolectar RSS sindicado de diversas fuentes,
combinarlo y procesarlo para producir nuevo RSS (lo que se denomina
“mashup”) que a la vez podemos sindicar para que otros lo recolecten, y así
sucesivamente, en una suerte de cadena alimenticia donde la información se
129](https://image.slidesharecdn.com/libroweb-nv-151029191534-lva1-app6892/85/Libro-web-nv-137-320.jpg)
![Capítulo 10 Clasificación y Filtrado de Información en la “Web Viva”
transforma, sintetiza y combina, desde sus fuentes hasta el usuario que la
consume.
Canales y Agregadores de RSS
En la Web de la década pasada, los usuarios debían esforzarse por en
contrar información, ya sea mediante buscadores o navegando enlaces. Hoy,
podemos acceder a una gran cantidad de información de interés sólo espe
rando que ésta llegue a nosotros. Para que esto sea posible, las fuentes de
información de la Web viva, llamados “canales”, publican RSS sobre infor
mación sindicada. Este RSS es recolectado en forma periódica y mostrado en
la pantalla del usuario final por aplicaciones conocidas como “agregadores”.
Estos sistemas entregan un flujo continuo de RSS, que referencian videos, fo
tografías, animaciones, artículos, noticias, etc, provenientes de canales tan
diversos como medios de prensa, sitios de tecnología o weblogs.
En la actualidad, existe una oferta de cientos de agregadores RSS, la
que incluye sistemas basados en la Web, como Yahoo! Pipes o Google Rea
der, o agregadores que se instalan como software cliente en computadores
personales, PDA's o teléfonos móviles. Adicionalmente, los principales nave
gadores y lectores de correo electrónico están incorporando funciones de
agregadores.
También hay agregadores que recolectan RSS para comunidades de
usuarios. Este es el caso de Orbitando [12] (ver figura 10.1), que se enfoca en
personas interesadas en contenido relacionado a Chile, o Topix [13], que se
enfoca en una comunidad más amplia.
130](https://image.slidesharecdn.com/libroweb-nv-151029191534-lva1-app6892/85/Libro-web-nv-138-320.jpg)
![Capítulo 10 Clasificación y Filtrado de Información en la “Web Viva”
Filtrado y Clasificación de Información
Los canales y agregadores nos permiten acceder a una enorme cantidad
de información. Esta es sin duda una buena noticia. Clasificar y filtrar infor
mación son dos tareas fundamentales para manejar la sobrecarga de
información en este nuevo contexto.
Filtrar información es la tarea de dejar pasar parte de ésta y bloquear
otra de acuerdo a un objetivo. En algunas situaciones el objetivo es evitar in
formación como contenidos no aptos para menores o publicidad no
solicitada. Un ejemplo muy popular es el filtrado de correo electrónico no
deseado (spam). En otros casos, necesitamos filtrar para descartar informa
ción irrelevante que constituye ruido. El filtrado de información también
puede tener como objetivo personalizar y ajustar los agregadores de acuerdo
a los intereses de un usuario o una comunidad de usuarios.
131
Figura 10.1: Portada de Orbitando [13].](https://image.slidesharecdn.com/libroweb-nv-151029191534-lva1-app6892/85/Libro-web-nv-139-320.jpg)
![Capítulo 10 Clasificación y Filtrado de Información en la “Web Viva”
Clasificar es una tarea similar. En este caso, debemos decidir una o más
categorías, entre un conjunto fijo de éstas, a las que asociamos determinada
información, como cuando organizamos los archivos de nuestro computador
en carpetas. Es común en la Web que las categorías sean tópicos, que incluso
pueden formar estructuras jerárquicas donde los más específicos se conectan
con los más generales. En otros casos, las categorías pueden referirse a algu
na propiedad de la información como su tipo u origen. Por ejemplo,
podríamos necesitar clasificar texto para detectar comentarios positivos y ne
gativos. En el extremo derecho de la figura 10.1 se pueden ver las categorías
en que un agregador clasifica RSS. Se consideran tópicos como política, ne
gocios, tecnología, etc. y tipos de información como weblogs, videos,
fotografías, podcasts, etc.
Hoy en día, los usuarios comunes de agregadores sólo pueden filtrar
manualmente una fracción mínima del flujo de información que pueden re
cibir. También es poco práctico pensar en editores que hagan este trabajo,
como suele ocurrir en medios de prensa tradicionales. El Open Directory
Project [11], una ambiciosa iniciativa de comprometer editores humanos
para clasificar la Web, gozó de gran popularidad en sus inicios a fines de los
noventa, pero su impacto decreció en los últimos años.
Los Primeros Filtros Automáticos
A fines de los ochenta, tomó fuerza el desarrollo de programas que fil
tran en forma automática. Uno de los primeros de estos sistemas, CONSTRUE,
implementado inicialmente para la agencia de noticias Reuters, permitía
programar filtros basados a reglas modeladas por expertos. Por ejemplo, la
siguiente regla, mencionada con frecuencia en libros del area, determina si
un artículo es o no relevante para la categoría “trigo”:
132](https://image.slidesharecdn.com/libroweb-nv-151029191534-lva1-app6892/85/Libro-web-nv-140-320.jpg)
![Capítulo 10 Clasificación y Filtrado de Información en la “Web Viva”
Filtros que Aprenden y se Adaptan
Disciplinas como estadística, aprendizaje de máquinas, reconocimiento
de patrones y, últimamente, minería de datos [3,4,5] son la base para desa
rrollar filtros de información que aprenden y se adaptan en base a la
experiencia. Para que este proceso de aprendizaje se lleve a cabo, debemos
contar con información ya filtrada, es decir, ejemplos positivos y negativos,
denominada datos de entrenamiento, que se pueden generar por expertos o vía
feedback de usuarios comunes. Estos datos se usan para entrenar o inducir el
filtro. Una forma de pensar en este proceso es que a medida que incluimos
más datos en el entrenamiento, el sistema incorpora nuevas reglas, siempre
teniendo cuidado de que éstas se puedan generalizar a información más allá
de los datos de entrenamiento. La figura 10.2 muestra un ejemplo de un pro
ceso de entrenamiento de un modelo para clasificar vinos.
En este proceso es muy importante evaluar el desempeño del sistema
creado, es decir, medir su capacidad para predecir correctamente las catego
rías de nueva información que se presenta. En términos simples, esto se hace
separando de los datos de entrenamiento un nuevo conjunto, llamado “da
tos de prueba”, que usamos para medir la tasa de error. En general, es
importante distinguir distintos tipos de error (falsos positivos y falsos nega
tivos). Por ejemplo, en un agregador de contenido para niños es mucho más
grave el error de dejar pasar información no apta que muestra violencia o
pornografía, que el error de descartar alguna información adecuada.
Hoy en día existen cientos de técnicas para desarrollar filtros de infor
mación, algunas de las cuales han alcanzado tasas de error menores a un
10% en diversos experimentos. Entre estas están los árboles de decisión, má
quinas de soporte vectorial, redes neuronales, redes bayesianas,
discriminantes lineales, regresión logística, etc. En la actualidad, estas técni
134](https://image.slidesharecdn.com/libroweb-nv-151029191534-lva1-app6892/85/Libro-web-nv-142-320.jpg)
![Capítulo 10 Clasificación y Filtrado de Información en la “Web Viva”
cas son usadas con éxito en distintas aplicaciones, no sólo en el contexto de
la Web, sino en problemas tan variados como reconocimiento de voz, clasifi
cación de imágenes telescópicas en astronomía o evaluación de riesgo
financiero.
Nuevas ideas y mejoras se desarrollan en la actualidad para bajar las ta
sas de error ¿Podremos tener sistemas computacionales con capacidades de
aprendizaje y desempeño similar a seres humanos? Para ello necesitamos
desarrollar sistemas que emulen capacidades cognitivas humanas como
comprensión de lenguaje natural, captura de sentido común y otras formas
de procesamiento avanzado para llegar a la semántica de la información.
Filtrado Colaborativo
Un enfoque radicalmente distinto y de mucha aplicación en la actuali
dad, conocido como “filtrado colaborativo” [6], se basa en la idea de que la
información relevante para un usuario es también relevante para otros usua
rios con preferencias similares. Una comunidad de usuarios puede en
conjunto actuar como un gran filtro espontáneo, si combinamos e interpreta
mos adecuadamente las acciones de cada uno de sus miembros.
El filtrado colaborativo no es más que la sistematización de un método
de sentido común que aplicamos a decisiones de la vida diaria. Por ejemplo,
si intentamos seleccionar una película para ver en el cine, podríamos prime
ro buscar personas con gustos similares a los nuestros, para luego elegir
alguna películas preferidas por estas personas. Esta elección, en muchos ca
sos, será más acertada que la que haríamos después de conocer información
intrínseca de las películas. El método de filtrado colaborativo es útil en espe
cial cuando es complejo y costoso analizar la información a procesar, como
sucedería si ésta está compuesta por videos, imágenes, audio, etc.
136](https://image.slidesharecdn.com/libroweb-nv-151029191534-lva1-app6892/85/Libro-web-nv-144-320.jpg)
![Capítulo 10 Clasificación y Filtrado de Información en la “Web Viva”
muchos documentos comunes), sinonimia (dos etiquetas o más que signifi
can lo mismo), polisemia (una etiqueta con más de un significado) y otros
problemas. Adicionalmente, no siempre disponemos de etiquetas. Un área
extensa de investigación, denominada “extracción de información” [8], estu
dia el problema de generar etiquetas desde colecciones de texto plano e
identificar relaciones semánticas entre ellas.
Conclusión
La Web viva ha generado una nueva dinámica de acceso a la informa
ción que está presentando desafíos científicos y tecnológicos importantes. En
este contexto, la información “fluye” desde canales hacia agregadores que la
deben filtrar y clasificar para finalmente presentarla a los usuarios.
Hoy, la mayoría de la información en la Web tiene las propiedades de
un flujo. Los sistemas computacionales que filtran deben tener la capacidad
de adaptarse continuamente a éste y a los requerimientos cambiantes de los
139
Figura 10.4: (izquierda) Nube de tags generada por Orbitando. (derecha) Nube de
tags generada por Technorati.](https://image.slidesharecdn.com/libroweb-nv-151029191534-lva1-app6892/85/Libro-web-nv-147-320.jpg)
Libro web nv
- 9. Introducción El libro que el lector tiene en sus manos es producto de la experiencia del equipo de científicos que trabaja en el Centro de Investigación de la Web. Hemos querido exponer al gran público no sólo lo que hacemos, sino sobre todo, cómo funciona ese producto tan propio de nuestros tiempos que es la Web. Este libro pretende, a nivel de divulgación, dar a conocer las diferentes facetas que están detrás del funcionamiento de la Web. Comenzamos con la cuestión básica: ¿Qué es la Web? En el capítulo 1 el profesor Claudio Gutiérrez desarrolla una respuesta a esta pregunta partien do de las ideas de los creadores de la Web, quienes pensaron la Web como un gigantesco espacio de información universal, una suerte de biblioteca in finita. Las preguntas inmediatas que siguen a la anterior son: ¿Qué estructura ha tomado este espacio? ¿Cómo está organizado? ¿Cómo es usado hoy por la gente? Esta y otras preguntas, junto con el análisis de la Web chilena, las res ponde el profesor Ricardo Baeza en el capítulo 2. La Web es un espacio lógico que está construido sobre un soporte esen cial: la red de comunicaciones conocida como Internet. El lector probablemente habrá escuchado usar estas dos palabras en forma intercam biable. En el capítulo 3, el profesor José Miguel Piquer expone la evolución y desarrollo de Internet. Esta gigantesca red mundial de comunicaciones tiene protocolos particulares y... ¡un gobierno! 1
- 13. Los Autores Marcelo Arenas es profesor auxiliar del Departamento de Ciencia de la Computación de la Pontificia Universidad Católica de Chile. Obtuvo los gra dos de Licenciado en Matemáticas (1997), Magíster en Ciencias de la Ingeniería (1998) y el título de Ingeniero Civil de Industrias con Mención en Computación (1998) de la Pontificia Universidad Católica de Chile; y el gra do de Doctor en Ciencia de la Computación de la Universidad de Toronto, Canadá (2005). Su investigación ha estado enfocada a distintos aspectos de la Web, tales como el desarrollo de metodologías para mejorar el diseño de las bases de datos XML, el desarrollo de una arquitectura para el intercambio de información XML y la construcción de lenguajes de consulta para la Web Se mántica. Ricardo BaezaYates es director de Yahoo! Research Barcelona, España y Yahoo! Research Latin America en Santiago, Chile. Hasta 2005 fue director del Centro de Investigación de la Web del Departamento de Ciencias de la Computación de la Escuela de Ingeniería de la Universidad de Chile, y cate drático ICREA en el Departamento de Tecnología de la Universitat Pompeu Fabra en Barcelona, España. Mantiene vínculos con ambas universidades como profesor jornada parcial. Sus intereses en investigación incluyen algo ritmos y estructuras de datos, recuperación de información, minería de la Web, bases de datos de texto e imágenes, y visualización de software y bases de datos. Claudio Gutiérrez es profesor asociado del Departamento de Ciencias de la Computación de la Universidad de Chile. Obtuvo la Licenciatura en 5
- 14. Los Autores Matemáticas en la misma universidad, Magíster en Lógica matemática en la P. Universidad Católica de Chile, y Ph.D. en Computer Science en Wesleyan University, EE.UU. Su área de investigación es la lógica aplicada a la compu tación, bases de datos y Web Semántica. Ha obtenido premios al mejor artículo en conferencias de la Web Semántica los años 2005, 2006 y 2007. Ac tualmente es investigador asociado del Centro de Investigación de la Web. Carlos Hurtado es doctor en Ciencias de la Computación de la Univer sidad de Toronto; Ingeniero Civil y Magíster en Ciencias de la Ingeniería de la Universidad Católica de Chile. Es profesor del Departamento de Ciencias de la Computación de la Universidad de Chile, donde dicta cursos y desa rrolla investigación en las áreas de bases de datos, inteligencia artificial y minería de datos. Se ha desempeñado como investigador asociado del Cen tro de Investigación de la Web, del London Knowledge Lab y del Birkbeck College de la Universidad de Londres. Es socio y miembro del equipo de de sarrollo de orbitando.com. Mauricio Marín es investigador en el Centro de Investigación de Ya hoo! de Santiago de Chile, e investigador asociado en el Centro de Investigación de la Web de la Universidad de Chile. Anteriormente fue pro fesor titular de la Universidad de Magallanes, Chile. Obtuvo una Maestría en Ciencias de la Computación en la Universidad de Chile y Doctorado en la Universidad de Oxford, Inglaterra. Sus áreas de interés en investigación son: procesamiento paralelo y distribuido de la información con aplicaciones en máquinas de búsqueda para la Web. Actualmente es Presidente de la Socie dad Chilena de Ciencia de la Computación. Gonzalo Navarro obtuvo su Doctorado en Ciencias Mención Computa ción en la Universidad de Chile (1998). Actualmente es profesor titular y director del Departamento de Ciencias de la Computación de la misma Uni versidad. Ha dirigido diversos proyectos de investigación y hoy es director 6
- 18. Capítulo 1 La Web como espacio de información universal El sueño de la biblioteca infinita se ha hecho realidad: la Web hoy con tiene lo que soñó Borges y bastante más. De hecho, se estima que la pieza promedio de información en la Web hoy día nunca será vista más que por su productor y sus amigos cercanos, y uno no puede ver más que un porcentaje minimal de lo que está publicado. ¿Cómo se logró esta fantástica biblioteca infinita? En este breve capítulo revisaremos los fundamentos conceptuales y técnicos que están en la base de la Web, y discutiremos sus alcances y limitaciones. Es común que los términos Web, Red e Internet se usen intercambiable mente. Desde el punto de vista técnico son objetos completamente diferentes. Internet hace referencia a la red física que conecta diferentes com putadores y lugares. Sus preocupaciones son protocolos de transmisión de datos (TCP IP), manejo de nombres de dominio, etc. y que lo tratamos en de talle en el capítulo 3. La Web hace referencia a la arquitectura lógica de la información que ha sido posible construir sobre esa red física. Confundirlos es como confundir el cerebro (una red neuronal) con el conocimiento que po see una persona. Todos tenemos casi el mismo material cerebral, pero los conocimientos y la información que cada uno posee difieren vastamente. De fuentes aisladas a redes de información La evolución del procesamiento de información ha ido desde unidades aisladas hasta una interconexión mundial hoy día a través de la Web. Probablemente la mejor metáfora sea de nuevo la de una biblioteca. Allí hay información restringida al lugar físico donde funciona. Por un momento olvidemos los catálogos globales (¡productos de la Web también!), y pense 10
- 19. Capítulo 1 La Web como espacio de información universal mos cómo hace 50 años alguien buscaba información. Debía recorrer biblio teca por biblioteca, y correlacionar o comparar la información a mano. Por ejemplo, determinar los títulos de libros que estudian la vida de Andrés Be llo. No podía “navegar” a través de la imagen virtual de todos los libros de todas las bibliotecas del mundo juntas. Sin embargo, la Web hizo posible esa realidad. El desarrollo de la tecnología computacional ha sido clave en este pro ceso. Los computadores en sus inicios eran gigantescos armatostes que ocupaban pisos enteros de edificios, “centros” de procesamiento de informa ción. La gente, técnicos, usuarios, etc. giraba en torno a ellos. La conexión entre dos de estos gigantescos aparatos era escasa o nula. Con el adveni miento de los computadores personales, llegó también la idea de que cada usuario poseedor de un PC pudiera “conectarse” con otros cercanos. Nacie ron las redes locales. De esta idea hay un paso a pensar una red más grande, y finalmente una red “global”. Y con esto, aparece el problema de cómo co ordinar, integrar la información que está en cada uno de los nodos (computadores) de esta gigantesca red. A comienzos de los noventa, Tim BernersLee [1] tuvo una idea genial: diseñar este sistema global de información de tal forma que cada usuario en un nodo pudiera navegar por el resto de forma totalmente automática, es de cir, sin tener idea de cómo funciona el sistema del otro, qué sistema operativo tiene, qué lenguajes de programación usa, qué aplicaciones corre. Su experiencia en el CERN (ver figura 1.1) fue la gatilladora de esta simple idea, que es el origen de la Web. En palabras de BernersLee: “El concepto de la Web integró muchos sistemas de información diferentes, por medio de la formación de un espacio imaginario abstracto en el cual las diferencias entre ellos no existían. La Web tenía que incluir toda la información de cualquier tipo en cualquier sistema.” 11
- 21. Capítulo 1 La Web como espacio de información universal 1. Identificadores únicos (URI): en un mundo ideal, la suposición bá sica necesaria para poder referirse (referenciar) y hablar de (describir) todos los objetos, es que éstos tengan su nombre propio, que en tér minos técnicos se llama identificador. En la Web estos nombres propios se llaman Identificadores Universales de Recursos (URI por sus siglas inglesas). Una versión más elemental de URI es la URL (Localizador universal de recursos), que corresponde a una dirección en la Web. La dirección es una de las formas de identificar un objeto, pero es bueno señalar que la noción de identificador es más amplia que la de dirección, por ejemplo para recursos móviles que no tienen dirección fija. 2. Lenguaje universal para describir HTML: Otra suposición básica para la comunicación universal es un lenguaje único, entendible por todos. Tim BernersLee diseñó el lenguaje HTML (siglas del inglés Hyper Text Markup Language, que a sus características de simplicidad de uso, suma una característica clave: el ser un lenguaje de hipertexto, es decir, que tiene un forma de anclar o redirigir al lector desde un punto cualquiera del texto a otro lugar. Estos son los famosos links o enlaces en la Web. 3. Protocolo de transmisión de datos HTTP: Desde un punto de vista más técnico, uno necesita un protocolo que permita enviar y traer in formación en HTML desde un lugar (sitio) a otro en esta gigantesca red que es la Web. El protocolo HTTP (sigla del inglés Hyper Text Transfer Protocol) tiene varias características distintivas que lo han hecho muy perdu rable. HTTP es un protocolo de transmisión entre clientes y servidores. El cliente, que puede ser un browser, un agente, o cual 13
- 23. Capítulo 1 La Web como espacio de información universal las bases para implementar esta desiderata es la separación de conte nido y forma en la información. • Independencia de Software. Hay muchos y diversos programas de software que se usan. Ninguno debe ser crítico para el funciona miento de la Web. El desarrollo descentralizado del software ha sido clave para su crecimiento. Además, tema no menor, este postulado previene que la Web misma caiga bajo el control de una comunidad dada o algún gobierno usando el control del software. • Internacionalización. Desde sus inicios, la Web no ha estado car gada a ningún país. Con la introducción de UNICODE, la última barrera que cargaba su desarrollo hacia los lenguajes occidentales ha sido barrida. (La diferencia clave entre el viejo HTML y el nuevo es tándar XHTML, aparte de mejoras técnicas relacionadas con XML, es que XHTML está basado en UNICODE.) • Multimedia. Los formatos disponibles para publicar deben estar abiertos a todas las facetas de la creatividad humana capaces de re presentar. En este sentido, soportar multimedia no representa sólo un par de avances tecnológicos, sino una filosofía de desarrollo de la Web. • Accesibilidad. La gente difiere en múltiples cosas, en particular, en sus capacidades. La universalidad de la Web debe permitir que ella sea usada por la gente independientemente de sus discapacida des. De nuevo aquí la separación de contenido y forma de la información es un pilar básico. • Ritmo y razón. Como dice TBL, la información varía desde un poema hasta una tabla en una base de datos. El balance entre proce samiento automático y humano debe estar presente. Por un lado, por 15
- 24. Capítulo 1 La Web como espacio de información universal las cantidades y tipo de información actualmente disponible es im pensable que ésta sea procesada sólo por seres humanos: se necesitan agentes automáticos. Por otra parte, es absurdo pensar que en algún momento los humanos serán prescindibles en el desarrollo y enriquecimiento de la Web. Hay que buscar los justos términos para cada aplicación. • Calidad. Las nociones de calidad son subjetivas e históricas. Por ello es impensable que algún día toda la información vaya a ser de calidad. Aquí hay otro compromiso, y es que la tecnología de la Web debe permitirnos navegar y vivir entre información con diferentes niveles de calidad. • Independencia de escala. La armonía a gran escala supone armo nía en sus componentes. La Web debe soportar grandes y pequeños grupos. Debe permitir que la privacidad de la información de indivi duos y grupos pueda ser negociada por ellos mismos, y permitir que cada grupo se sienta seguro en el control de su espacio. Hay que lo grar un balance entre un gigante monolítico y una diversidad que pueda llevar al aislamiento completo de cada uno. La Web Semántica Uno de los problemas más importantes que aparece con la Web es el de determinar qué “significa” cada dato que está en la Web. Es prácticamente imposible para un usuario chileno entender una página en chino o tailandés. Y viceversa. El problema es aún más dramático: es muy difícil para un hu mano encontrar la información que necesita. Los buscadores funcionan de manera puramente “sintáctica”, es decir, no “entienden” las palabras. ¿Qué hacer? 16
- 25. Capítulo 1 La Web como espacio de información universal Tradicionalmente eso era resuelto por catalogadores, personas especiali zadas que agregaban metadatos (etiquetas que explicitan información) a los libros: qué tema trata, dónde está ubicado, cuál es el autor, etc. Estos meta datos están accesibles en un catálogo en las bibliotecas. En la Web, como ya veíamos, no tenemos catálogo, ni menos catalogadores. Con los volúmenes de información que cada día crecen, es imposible que humanos se preocu pen de clasificar la información. Además, porque el modelo de la Web es distribuido, quienes publican tienen diversas visiones sobre cómo clasificar sus objetos. Para los profesionales de la información, el principal desafío hoy es cómo manejar esta extraordinaria cantidad de datos que crece día a día. Es tamos comenzando a ver los problemas: los motores de búsqueda a menudo no contestan lo que buscamos; hay dificultades para filtrar la información; la heterogeneidad de los datos y los contenidos; desde el punto de vista de quien publica, se ha convertido en un problema hacer visible la visible, tanto en formato como en contenido. Han habido avances en los niveles estructu rales y sintácticos con el estándar XML y sus tecnologías aledañas. Desafortunadamente, al nivel del significado (semántica) aún estamos muy por debajo de las necesidades. Estamos lejos de responder preguntas como “todos los museos que exhiban trabajos de Guayasamín” o “¿Cuál es la bi blioteca que tiene la mejor colección de los escritos de Gandhi?” o “¿Cuál es la compañía que ofrece el mejor mapa de Isla de Pascua desde el punto de vista precio/resolución?” Un motor de búsqueda estándar (como Google, Yahoo!, etc.) no puede responder tales consultas. Pero tampoco ningún agente las podría responder hoy en día. Sin embargo, la información está allí: hay que relacionarla y agregarla. La limitación obedece a la falta de ha bilidad de las máquinas para entender el significado y las relaciones entre las partes de información que recolectan. Hoy en día los humanos agrega mos el contexto, interpretamos y damos sentido a la información que existe 17
- 26. Capítulo 1 La Web como espacio de información universal en la Web. En otra dirección, otro ejemplo de estas limitaciones es la dificul tad para diseñar e implementar una tarea tan natural como organizar todos los recursos educacionales de un país, de tal forma que resulte sencillo para cada estudiante y profesor el publicar y obtener la información que requie ran. Se necesitan vocabularios comunes, descripción precisa de los datos expuestos, publicación distribuida, búsquedas automatizadas. En una frase: debido a las enormes dimensiones, la Web se ha convertido en una torre de Babel no sólo al nivel del lenguaje natural, sino esencialmente al nivel del significado, contradiciendo las ideas por las cuales fue creada. ¿La solución? Pavimentar el camino para la construcción de agentes de software que pue dan procesar información de la Web por nosotros. La noción de Web Semántica [4] es transformar la Web actual de tal forma que la información y los servicios sean entendibles y usables tanto por computadores como por humanos. La Web Semántica creará el ambiente necesario donde los agentes de software puedan rápidamente realizar tareas sofisticadas y ayudar a los humanos a encontrar, entender, integrar, y usar la información en la Web. Metadatos y RDF La característica distintiva de la Web Semántica será un lenguaje están dar de metadatos y ontologías, que permitirán que agentes de software encuentren el significado de la información en páginas Web, siguiendo enla ces a las definiciones de términos claves y reglas para razonar acerca de ellas lógicamente. Los metadatos son datos descriptivos acerca de un objeto o re curso, sea éste físico o electrónico. Las ontologías son especificaciones formales de vocabulario y conceptos compartidos para un dominio. Aunque el concepto de metadatos es relativamente nuevo, los concep tos subyacentes han estado rondando desde que se organizaron grandes colecciones de información. En áreas tales como catalogación en bibliotecas y 18
- 27. Capítulo 1 La Web como espacio de información universal museos han sido usados por décadas, por ejemplo, el DCC (Dewey Decimal Classification), OCLC (On Line Computer Library Center), Dublin Core. Una manera útil de pensar acerca de los metadatos es “la suma total de lo que uno puede decir acerca de cualquier objeto de información a cualquier nivel de agregación”. Hay muchos tipos de metadatos, y los usos más comunes se refieren a documentación de copyrights y accesos legales, versionamiento, ubicación de información, indización, descripción de condiciones físicas de recursos, documentación de software, autentificación, etc. En la Web, los metadatos también han jugado un rol importante en áre as como catálogos de propósito general (Dublin Core, Open Directory Project, Wikipedia), sindicación y rating (Rich Site Summary RSS, Platform for Internet Content PICS), colecciones personales (música, fotos), privaci dad, etc. Y los más populares hoy son simplemente tags, es decir, etiquetas; un lenguaje que no tiene verbos ni adjetivos. Simplemente nombres. Todos estos metadatos son sectoriales y usan una diversidad de modelos y lengua jes. Por el contrario, se necesita un lenguaje de significados (de metadatos) universal. Este es RDF [5] (del inglés Resource Description Framework), que es un lenguaje diseñado para soportar la Web Semántica, de la misma manera que HTML es el lenguaje que ayudó a iniciar la Web. El modelo de RDF es simple: el universo a modelar (la Web) es un conjunto de recursos (esencial mente todo puede tener una URL); el lenguaje para describirlo es un conjunto de propiedades (técnicamente predicados binarios); las descripciones son oraciones similares en estructura al modelo sujetopredicadoobjeto, don de el predicado y el objeto son recursos o cadenas de caracteres. Así, por ejemplo, uno puede afirmar “El creador de http://www.picarte.cl es Claudio Gutiérrez”. El vocabulario de las propiedades para este lenguaje pue 19
- 28. Capítulo 1 La Web como espacio de información universal de ser definido siguiendo las líneas dadas en los esquemas RDF (RDF Sche ma), y básicamente son codificaciones de ontologías a diferentes niveles. El Futuro de la Web No es fácil predecir los desarrollos futuros de la Web. El proyecto ini cial de Tim BernersLee incluía el desarrollo de capas sucesivas para permitir el intercambio global de información y conocimiento. Luego de la estructura básica que conocemos, vendrá una capa de semántica, de metada tos. Esta capa permitiría procesar la información semiautomáticamente, es decir, permitiría a agentes de software procesar la información en paralelo a los humanos. (Nótese que la Web actual está hecha casi en su totalidad para que seres humanos la naveguen.) 20 Figura 1.2: La Torre de la Web Semántica
- 29. Capítulo 1 La Web como espacio de información universal La Web por supuesto ha evolucionado en miles de direcciones, muchas no previstas, como redes sociales, blogs, etc. Muchos han llamado al conjun to de estos desarrollos “novedosos” no previstos Web 2.0. En los capítulos siguientes trataremos varias de estas facetas. El futuro está abierto. Hoy en día no es posible predecir los usos futu ros de la Web, y aquí ya entramos al campo de la ciencia ficción. Para saber más Tim BernersLee, Tejiendo la Red, Siglo Veintuno Eds., España, 2000. Tim BernersLee, Ora Lassila La Web Semántica, Scientific American, 2002. La World Wide Web Consortium (W3C) ha dispuesto una breve guía introductoria, en español, sobre la web semántica: http://www.w3c.es/Divulgacion/Guiasbreves/WebSemanticahttp://www.w3c.es/Divulgacion/Guiasbreves/WebSemantica Referencias 1. “CERN: Where the web was born.” Page at the CERN. http://public.web.cern.ch/public/en/About/Weben.htmlhttp://public.web.cern.ch/public/en/About/Weben.html 2. Tim BernersLee. Information Management: A Proposal (1989). http://info.cern.ch/Proposal.htmlhttp://info.cern.ch/Proposal.html http://www.w3.org/History/1989/proposal.htmlhttp://www.w3.org/History/1989/proposal.html 3. Tim BernersLee. The World Wide Web Past Present and Future: Exploring Universality. http://www.w3.org/2002/04/Japan/Lecture.htmlhttp://www.w3.org/2002/04/Japan/Lecture.html 4. W3C Semantic Web Activity: http://www.w3.org/2001/sw/http://www.w3.org/2001/sw/ 5. Resource Description Framework (RDF) / W3C Semantic Web Activity: http://www.w3.org/RDF/http://www.w3.org/RDF/ 21
- 34. Capítulo 2 Anatomía de la Web cadores agrupando páginas similares. Uno de los problemas principales es cómo encontrar las páginas que poseen el contenido que necesitamos, pues sólo encontrar todas las páginas que son indexables ya es difícil (ver figura 2.1). Desenredando la Estructura La estructura de la Web es compleja y evoluciona en el tiempo. Hay desde sectores altamente conectados hasta islas que sólo conocen algunos buscadores. La estructura puede ser usada por los buscadores para jerarqui zar los resultados (en base a las páginas más referenciadas usando heurísticas como Pagerank) o para encontrar grupos de páginas que se apuntan entre sí y representan comunidades de personas con intereses simi lares. El problema principal en este caso es entender el proceso de evolución y su relación con las personas que participan en él. Analizando el Uso Analizar las bitácoras de acceso (logs) a un sitio Web es lo más intere sante desde el punto de vista comercial. Por ejemplo, una página que nunca es visitada tal vez no tiene razón de ser, o si páginas muy visitadas no están en los primeros niveles, esto sugiere mejorar la organización y navegación del sitio. Por lo tanto, es importante detectar patrones de acceso y sus ten dencias. Esta detección puede ser genérica o para un usuario específico (lo que permite personalizar sitios en forma dinámica) y los resultados pueden ser usados para recomendar servicios o productos. El problema principal en este caso es poder diferenciar a los usuarios y cuándo se conectan o desco nectan (determinar sesiones). 26
- 35. Capítulo 2 Anatomía de la Web El Principio del Mínimo Esfuerzo George Kipling Zipf era un lingüista de Harvard y publicó en 1949 su libro sobre el principio del mínimo esfuerzo un año antes de su deceso, a la prematura edad de 40 años. El descubrimiento inicial de Zipf en 1932 fue que si uno contaba el número de veces que se usaba cada palabra en distin tos textos en inglés, y las ordenaba de más frecuente a menos frecuente, se cumplía que la frecuencia de la palabra iésima, multiplicada por i, era igual a una constante C, y la constante C dependía del texto escogido. Actualmen te es necesario elevar i a un exponente t mayor que 1 y cercano a 2 para muchos textos existentes, en particular en la Web. Graficando esta curva usando una escala logarítmica en ambos ejes, ella se convierte en una recta con pendiente negativa t [1]. Zipf explica estos resultados empíricos como una condición humana, donde siempre es más fácil escribir una palabra conocida que una menos co nocida. Fenómenos similares aparecen en otros ámbitos como el número de citas bibliográficas a un artículo dado o las poblaciones de las ciudades. Di versos autores, entre ellos Mandelbrot y Miller, argumentaron más tarde que en realidad la ley de Zipf representa la consecuencia de las leyes de las pro babilidades en procesos asociados a codificación de información donde hay mucho de azar. Sin querer tomar partido en esta disputa científica, cierta o no cierta, la ley de Zipf aparece frecuentemente en la práctica y refleja bien la actitud natural de minimizar el esfuerzo, exceptuando los casos extremos, que serían en el ejemplo inicial, usar muy pocas palabras o usar muchas. Tal vez esta ley sólo explica la diversidad humana, la que se inclina más por la pereza que por la erudición. De hecho, que t sea ahora alrededor de 1.8 para textos en inglés, indica un mayor sesgo en esa diversidad, y una degradación en el tiempo de la riqueza del vocabulario que usamos al escribir. 27
- 36. Capítulo 2 Anatomía de la Web La Web como un Proceso Humano La Web es el producto del trabajo colaborativo de millones de personas. Si hay algún fenómeno donde el principio del mínimo esfuerzo aparecería si existiera, es la Web. Aparte de la distribución de palabras en la Web, las si guientes medidas siguen una curva de Zipf: • Tamaños de las páginas o de otros tipos de archivos (imágenes, audio, etc.). En este caso la ley no se ajusta bien al comienzo, porque hacer páginas con muy poco texto produce el pudor de la vergüenza que contrarresta al mínimo esfuerzo. • Número de enlaces que salen de una página. En este caso la curva no se ajusta muy bien en los extremos, porque hacer una pági na con muy pocos enlaces cae en el caso del punto anterior y, por otra parte, hay páginas con muchos enlaces producidas en forma au tomática. • Número de enlaces que llegan a una página. La mayoría de las páginas tienen sólo un enlace a ellas y hay pocas páginas con mu chos enlaces. • Fecha de actualización de las páginas, existen más páginas nue vas o modificadas que viejas. • Número de componentes conexos de distinto tamaño. Es decir, grupos de páginas en las que se puede navegar de cualquier página a otra página. Esto representa en cierta medida el número de pági nas de un sitio Web: muchos sitios tienen pocas páginas, pocos sitios muchas páginas. • Uso de las palabras en las consultas a un buscador (confirmado experimentalmente en TodoCL.cl). El resultado es que la mayoría de las preguntas son muy simples. 28
- 37. Capítulo 2 Anatomía de la Web Lo anterior se propaga a otras medidas, como tráfico en la red, uso de proxies, etc. ¿Es todo esto una casualidad producto del azar o un fenómeno del comportamiento humano?. Sin duda la respuesta es que esta ley es resul tado del proceso humano de creación de la Web. Caracterizando la Web Estructura y Visibilidad ¿Cuántas referencias tiene una página HTML? (HTML es un acrónimo para Hyper Text Markup Language; el lenguaje usado para estructurar pági nas Web). Más del 75% de las páginas tiene al menos una referencia, y en promedio cada una tiene entre 5 y 15 referencias. La mayoría de estas refe rencias son a páginas en el mismo servidor. De hecho, la conectividad entre sitios distintos no es muy buena. En particular, la mayoría de las páginas no son referenciadas por nadie y las que sí son referenciadas, lo son por páginas en el mismo servidor. Considerando sólo referencias externas (entre sitios distintos), más del 80% de las páginas tienen menos de 10 referencias a ella. Otros sitios son muy populares, teniendo decenas de miles de referencias a ellos. Si conta mos sitios que referencian a sitios, aparecen ODP (www.dmoz.org), el directorio abierto, y el directorio de Yahoo! en los dos primeros lugares. Es tos sitios son los que conectan la Web. Por otro lado, hay algunos sitios que no son referenciados por nadie (están porque fueron incluidos mediante el envío directo de una dirección Web a Yahoo! u otros buscadores, pero que realmente son islas dentro de la Web). En este mismo sentido, las páginas personales también se pueden considerar como entes aislados en muchos ca sos. Asimismo, la mayoría de los sitios (80%) no tiene ninguna referencia 29
- 39. Capítulo 2 Anatomía de la Web puede ser falsa o engañosa. Hay que tener esto en mente cuando usamos una página Web como fuente de información o la referenciamos. Los Sitios Impenetrables Estos sitios son aquellos que contienen una o más páginas donde un buscador no puede extraer los enlaces a las páginas internas porque no usan HTML sino un diseño gráfico basado en un programa. Es decir, la estética es prioritaria pero por ignorancia mata su contenido. Según el último estudio de la Web Chilena [4], estos son el 21% de los sitios, es decir más de 25 mil sitios. Esto incluye sitios que usan Flash en su portada, otros que son o hacen una llamada a un programa y unos pocos que usan mapas de imágenes anti cuados. Muchos de estos sitios tienen una portada impenetrable de más de 100Kbs de código, sin contar imágenes, así que además son poco visibles, pues en un módem normal tardarían al menos 30 segundos en cargarse. Uno puede perdonar que la mayoría de las empresas chilenas no sepan que Flash o Javascript mal usado convierte sus sitios en bóvedas de seguri dad. Sin embargo, hay casos en que esto es imperdonable: • La empresas de tecnologías de la información no pueden apelar a la excusa de ser ignorantes. • Los sitios de gobierno deben ser los más públicos, visibles1 y fá ciles de encontrar de la Web. • Las empresas donde la información es uno de sus valores fun damentales. ¡Y sin mencionar las empresas de este tipo que no tienen sitio Web! 1 Por ejemplo, cuando su portada hace difícil la navegación. 31
- 41. Capítulo 2 Anatomía de la Web vieron que el diámetro de la Web es aproximadamente 19. Es decir, con 19 clicks del ratón llegamos a cualquier página Web del planeta. Ellos y otros autores sugieren que un buscador podría aprovechar esto para encontrar rá pidamente la página deseada. Sin embargo, esto significa saber qué enlace seguir, un problema que no es trivial. Aunque el modelo de mundo pequeño podría ser válido en la Web, este modelo no explica cómo una persona que sólo tiene conocimiento local puede saber a quién contactar para encontrar a otra persona. Recientemente, Kleinberg [6] ha modificado el modelo original, de tal modo que las conexio nes lejanas no siguen una distribución uniforme, sino que una que es inversamente proporcional al cuadrado de la distancia. Esta distribución es óptima en el sentido que minimiza el número promedio de llamadas que ha ría una persona para contactar a otra, y explica lo que ocurre en la práctica. La Web es más que un simple conjunto de documentos en distintos ser vidores, ya que existen relaciones de información entre los documentos mediante los enlaces que establecen entre ellos. Esto presenta muchas venta jas, tanto para los usuarios, a la hora de buscar información, como para los programas que recorren la Web a la hora de buscar contenido para recolectar (probablemente para un motor de búsqueda). Debido a esto se plantea la Web como un modelo de grafo dirigido, en el que cada página es un nodo y cada arco representa un enlace entre dos páginas. En general las páginas enlazan a páginas similares, de modo que es po sible reconocer páginas mejores que las demás, es decir, páginas que reciben un número mayor de referencias que lo normal. En base a esto la Web tiene una estructura que se puede clasificar como red libre de escala. Dichas redes, al contrario de las redes aleatorias, se caracterizan por una distribución dis pareja de enlaces y porque dicha distribución sigue una ley de Zipf. Los nodos altamente enlazados actúan como centros que conectan muchos de los 33
- 46. Capítulo 2 Anatomía de la Web La Web Chilena Definimos como sitio Web chileno aquel que termina en .cl o el cual su IP pertenece a un proveedor chileno de Internet. El último estudio realizado con datos de 2006 mostró los siguientes resultados: La Web chilena está com puesta por más de 170.000 sitios, y estos contienen más de 7 millones de páginas. Muchas de sus características son muy similares a las de la Web global en general. • El 14% de los sitios están conectados entre sí a través de enlaces y tienen el 53,3% de las páginas. Por otro lado, el 49,5% de los sitios está completamente desconectado en términos de enlaces, pero re presentan sólo el 14% de las páginas. • Un sitio promedio tiene 43 páginas, contenidas en 0,304 MiB, con 1,56 referencias desde otros sitios. • Un dominio promedio tiene 1,08 sitios y 46,61 páginas, conteni das en 0,328 MiB. 38 Figura 2.4: Dinámica de la estructura del grafo de la Web Chilena entre los años 2000 y 2002 [3].
- 47. Capítulo 2 Anatomía de la Web • Cerca de 1/4 de las páginas chilenas fue creada o actualizada en el último año, lo que implica un alto grado de crecimiento y dina mismo. • Alrededor del 80% de las páginas de Chile está en español y cerca del 17% en inglés. Otros idiomas tienen una presencia muy leve. • Los sustantivos que más aparecen en la Web chilena son: Chile, producto, usuarios, servicio y mensaje. También aparecen Santiago, Web, blog, región e información. • Los países más referenciados desde Chile son Argentina, Espa ña, Alemania, Reino Unido y México, y en general el número de referencias a países extranjeros está relacionado con el volumen de intercambio comercial. • Los sitios que reciben más enlaces son sii.cl, uchile.cl, mi neduc.cl, meteochile.cl y bcentral.cl. • Los proveedores de hosting con mayor número de sitios son IFX Networks, VirtuaByte, TChile, Telefónica Internet Empresas, DattaWeb y PuntoWeb. Respecto a la calidad de las páginas y sitios: • De todos los sitios, el 20% más grande de ellos contiene el 99% de la información en la Web chilena, medida en el número de bytes contenidos en sus páginas. • Cerca del 21% de los sitios de Chile no son fáciles de encontrar ya que están hechos con tecnologías no visibles para los motores de búsqueda, como Flash y Javascript. • Unas pocas páginas acaparan la mayoría de los enlaces. De he cho, sólo el 3% de las páginas tienen algún valor de contenido en 39
- 48. Capítulo 2 Anatomía de la Web términos de estar referenciadas desde otros sitios. Sin embargo, estas páginas están repartidas en el 35% de los sitios Web. • Cerca de 5% de los enlaces ya no existen. Respecto a las tecnologías Web: • De los servidores que entregan información, el servidor Web más utilizado es Apache con 66,7%, seguido por Microsoft Internet Information Server con 32,8%. • De los servidores que entregan información, el sistema operati vo más utilizado es Unix, con 48,5%, seguido por Microsoft Windows con 38,5%. Además, Linux es utilizado en un 12% de los servidores. • El generador de páginas dinámicas más usado es PHP con 75% de participación en el mercado. • El formato de documentos más usado es PDF, con 53% de par ticipación, seguido por XML con un 21%. • Aproximadamente hay una disponibilidad del doble de archi vos con paquetes de software para Linux que para Windows en la Web chilena. 40
- 49. Capítulo 2 Anatomía de la Web Para saber más Centro de Investigación de la Web, http://www.ciw.clhttp://www.ciw.cl Google Labs, http://labs.google.comhttp://labs.google.com Search Engine Watch, http://www.searchenginewatch.comhttp://www.searchenginewatch.com TodoCL, el buscador chileno, http://www.todocl.clhttp://www.todocl.cl Web Information Retrieval resources, http://www.webir.orghttp://www.webir.org World Wide Web Consortium, http://w3c.orghttp://w3c.org Yahoo! Research, http://research.yahoo.comhttp://research.yahoo.com Referencias 1. Information on Zipf's Law. http://www.nslijgenetics.org/wli/zipf/http://www.nslijgenetics.org/wli/zipf/ 2. S. Boccaletti et al. “Complex Networks: Structure & Dynamics.” Physics Reports, Elsevier. 2006. 3. Ricardo BaezaYates, Barbara J. Poblete, Felipe SaintJean. “Evolución de la Web Chilena 20012002.” Centro de Investigación de la Web. 2003. http://www.ciw.cl/recursos/estudio2002/estudio2002html.htmlhttp://www.ciw.cl/recursos/estudio2002/estudio2002html.html 4. Ricardo BaezaYates, Carlos Castillo, Eduardo Graells. “Características de la Web Chilena 2006.” http://www.ciw.cl/material/web_chilena_2006/index.htmlhttp://www.ciw.cl/material/web_chilena_2006/index.html 5. R. Albert, H. Jeong and AL. Barabási. “Diameter of the World Wide Web” Nature 401, 130. 1999. 6. J. Kleinberg et al. “The Web as a graph: measurements, models, and methods.” Proceedings of the 5th International Computing and combinatorics Conference, 1999. 41
- 51. Capítulo 3 Internet José Miguel Piquer El desarrollo de Internet2 En las décadas de 1970 y 1980 los computadores se desarrollaban rápi damente mientras iba siendo claro que existía la necesidad de inter conectarlos en redes mundiales, básicamente para poder enviar mail desde una parte del mundo a cualquier otra; necesidad básica de la comunidad científica que hasta ese momento sólo disponía de un lento y poco confiable sistema de cartas internacionales para intercambiar ideas y trabajos escritos. Sin embargo, estas redes se desarrollaban en torno a un tipo determina do de computador: existían la redes de computadores IBM (BITNET), Digital (DECNET), Unix (UUCP), etc. En Chile nos conectamos a la red BITNET y a la red UUCP en 1986. Ambas conexiones llegaban a la Facultad de Ciencias Físicas y Matemáticas de la Universidad de Chile, pero BITNET llegaba al 2 En el lenguaje coloquial, muchas veces el lego usa intercambiablemente las nocio nes de “Internet” y “Web”. Desde un punto de vista técnico es necesario diferen ciarlas. Una analogía puede ayudar a aclarar la intuición de esta diferencia: el sis tema de transporte de pasajeros terrestre está basado en una red de carreteras. Pero el transporte de pasajeros y la red de carreteras son dos cosas completamen te diferentes, con problemas diferentes. Lo mismo ocurre para la Web respecto de Internet. 43
- 53. Capítulo 3 Internet Hoy resulta difícil imaginar la informalidad de esos años, pero todo esto ocurría sin apoyo oficial de ningún tipo, y era simplemente el esfuerzo de un grupo de investigadores motivados tanto en Chile como en el extranje ro para que Internet funcionara y se desarrollara. Durante muchos años el dominio .CL creció muy lentamente (ver figu ra 3.1b). Al cabo de 10 años, comenzaron a aparecer las inscripciones masivas de nombres y hubo que crear una organización formal que adminis trara los nombres (NIC Chile), un sistema de cobros por dominio y un sistema de administración de los conflictos que surgen en torno a un nom bre. NIC Chile continúa operando el dominio .cl bajo el alero de la Universidad de Chile hasta el día de hoy. En el mundo, los nombres de dominio han sido uno de los principales puntos de conflicto entre el sector privado, el público y la comunidad inter nacional. Aunque se ha ido avanzando mucho y se han creado organizaciones con bastante apoyo para administrarlos a nivel mundial, aun persisten muchas discusiones en torno a la operación del sistema, su relación con las marcas y la propiedad intelectual y el rol de los gobiernos en los do minios de país. Arquitectura Para que la Web funcione, se requiere de una Internet que provea bási camente la funcionalidad que permita que cualquier computador conectado a Internet pueda conectarse a un servidor identificado por la URL utilizada. Parte de esa funcionalidad la provee el ISP (Internet Service Provider) y otra parte la provee mi computador y otra el servidor web de destino. 45
- 54. Capítulo 3 Internet 46 (a) (b) Figura 3.1: (a) Flujo de las News en 1993, (b) nombres inscritos bajo el dominio .cl en 1993. Tomados de [1].
- 55. Capítulo 3 Internet La arquitectura Internet divide esta funcionalidad en cuatro servicios: 1. Traducción de nombre de dominio a dirección IP (DNS) Este es el servicio inicial que se invoca para traducir un nombre de dominio (como www.ciw.cl) a una dirección IP (como 146.83.4.11), que es básicamente un número único que se requiere para poder llegar al computador destino. Este servicio es crucial para el funcionamiento eficiente de la Web, puesto que todo nombre debe ser traducido antes de poder conectarnos al servidor. La opera ción requiere de varios servidores de nombres (DNS) que responden por cada dominio, proveiendo redundancia y rapidez en las res puestas. Este servicio es provisto en parte por el ISP, quien debe proveernos de un servidor de nombres inicial a quien enviarle nuestras consul tas, y en parte por servidores por cada dominio. En el ejemplo, hay un grupo de servidores para .cl y otro para ciw.cl, los que respon den con la dirección IP de www.ciw.cl. 2. Conexión y Transporte (socket) Una vez obtenida la dirección IP del servidor establecemos una co nexión con él, que permite enviar y recibir datos en forma confiable. Esto se hace a través de un socket que es la parte más compleja del sistema porque implementa un protocolo de corrección de errores que permite transmitir información sobre una Internet que pierde datos, que los desordena y a veces incluso los duplica. La inteligencia del socket radica sólo en los extremos de la cone xión: el navegador y el servidor. El resto de la red no interviene en este servicio, y eso es fundamental para mantener a Internet como 47
- 56. Capítulo 3 Internet un servicio barato y eficiente, dado que la complejidad principal la ejecutan los computadores en los extremos. Esto contrasta con la red telefónica que es todo lo contrario: los teléfonos son tontos y toda la inteligencia y complejidad radica en la red misma, lo que la hace mucho más cara. Este servicio no es provisto por el ISP. 3. Ruteo de paquetes IP El servicio básico que me debe proveer un ISP es el ruteo de los da tos que fluyen entre el navegador y el servidor, los que van en paquetes separados los unos de los otros y que deben pasar a través de varias redes potencialmente en países y continentes diferentes. Este es el servicio fundamental que me provee el ISP. 4. Protocolo HTTP Este es el diálogo que se establece entre el navegador (Internet Ex plorer, Mozilla Firefox, Opera, etc.) y el servidor web en el otro extremo una vez que están conectados. El protocolo permite inter cambiar contenidos de todo tipo, como texto, páginas web, imágenes, audio, video, etc. Toda la web está basada en HTTP. El protocolo original fue desplegado en Internet en 1991 y rápida mente le cambió la cara a Internet; pasó de terminales de texto a navegadores muy parecidos a los actuales. En resumen, el navegador envía una URL al servidor, quien le res ponde con el contenido almacenado para esa URL de manera que el navegador lo interprete y decida qué hacer con éste. El diálogo HTTP termina al terminar esa transferencia. 48
- 58. Capítulo 3 Internet existir leyes globales para regirla y los usuarios sólo queremos que siga fun cionando. Afortunadamente, a estas alturas no es fácil tomar acciones locales para ninguno de los actores y se requiere un cierto consenso para llevar a cabo cualquier cambio, lo que da algunas garantías de que el sistema siga operando en forma estable por muchos años más. Para saber más Para saber más sobre el gobierno de Internet, visite el sitio de ICANN: http://www.icann.orghttp://www.icann.org NIC Chile (http://www.nic.clhttp://www.nic.cl) se encarga de administrar los nombres de dominio en Chile. Referencias 1. Ricardo BaezaYates, José M. Piquer, Patricio V. Poblete. “The Chilean Internet Connection or I Never Promised You a Rose Garden.” INET '93. http://www.nic.cl/inet93/paper.htmlhttp://www.nic.cl/inet93/paper.html 2. .CL. Wikipedia the Free Encyclopedia: http://en.wikipedia.org/wiki/.clhttp://en.wikipedia.org/wiki/.cl 3. Internet Governance. Wikipedia the Free Encyclopedia: http://en.wikipedia.org/wiki/Internet_governancehttp://en.wikipedia.org/wiki/Internet_governance 50
- 61. Capítulo 4 Buscando en la Web En el crawling se recolectan páginas de la Web, ya sea nuevas o actuali zadas. El proceso de indexamiento es el que extrae los enlaces que parten de las páginas leídas y realimenta el crawling con nuevas direcciones para visi tar, mientras que almacena en el índice la información para qué palabras aparecen en qué páginas, junto con una estimación de la importancia de ta les ocurrencias. La búsqueda usa el índice para responder una consulta, y luego presenta la información al usuario para que éste navegue por ella [4]. Crawling: ¿qué páginas debería conocer un buscador? Se llama crawling al procedimiento de visitar páginas para ir actualizan do lo que el buscador sabe de ellas. Un crawler es un programa que corre en la máquina del buscador y que solicita a distintos computadores de Internet que le transfieran el contenido de las páginas Web que él les indica. Para es tos computadores es casi lo mismo que un crawler o un ser humano visite sus páginas: debe enviarle el contenido de la página solicitada. ¿Qué páginas debería conocer un buscador? ¡Es tentador responder que to das! Pero lamentablemente esto no es posible. La Web cambia demasiado seguido: un porcentaje alto de las páginas cambia de un mes a otro, y apare ce un porcentaje importante de páginas nuevas. Internet no es lo suficientemente rápida: se necesitan meses para transmitir todas las páginas de la Web al buscador. Es simplemente imposible mantener una foto actuali zada de la Web. ¡Ni siquiera es posible explorarla al ritmo al que va creciendo! La foto que almacena un buscador es siempre incompleta y sólo parcialmente actualizada. No importa cuántos computadores usemos para el buscador. Los mayores buscadores hoy ni se acercan a cubrir el total de la Web. ¡Es incluso difícil saber cuál es el tamaño real de la Web! Esto es aún 53
- 62. Capítulo 4 Buscando en la Web peor si consideramos la llamada Web dinámica, formada por páginas que se generan automáticamente a pedido (por ejemplo, al hacer una consulta al si tio de una línea aérea), y que son potencialmente infinitas. Y esto considerado que se refieren sólo a la Web pública (de acceso gratuito). Algunos números pueden dar una idea de las magnitudes involucra das. En 2005 se estimaba que la Web contenía 11.500 millones de páginas, de las cuales los mayores buscadores cubrían a lo sumo el 70%. Algunos estu dios calculan que la Web dinámica, por otro lado, puede llegar a los 500 mil millones de páginas. Querer mantener una foto de la Web al día puede compararse con que rer estar al tanto de todo lo que ocurre en todas partes del mundo, hasta los menores detalles locales, mediante leer el diario continuamente. Van ocu rriendo más novedades de las que es posible ir leyendo. Podemos pasarnos todo el tiempo leyendo detalles insignificantes y perdiéndonos los hechos más importantes, o podemos tener una política más inteligente de seleccio nar las noticias más relevantes, y postergar (tal vez para siempre) la lectura de las menos relevantes. Un tema fundamental en un buscador es justamente el de decidir qué páginas debe conocer, y con cuánta frecuencia actualizar el conocimiento que tiene sobre cada página. Un crawler comienza con un conjunto pequeño de páginas conocidas, dentro de las cuales encuentra enlaces a otras páginas, que agrega a la lista de las que debe visitar. Rápidamente esta lista crece y es necesario determinar en qué orden visitarlas. Este orden se llama “política de crawling”. Algunas variables relevantes para determinar esta política son la importancia de las páginas (debería actualizar más frecuentemente una página que es más importante, lo que puede medirse como cantidad de ve ces que la página se visita, o cantidad de páginas que la apuntan, o frecuencia con que se buscan las palabras que contiene, etc.), y la frecuencia 54
- 63. Capítulo 4 Buscando en la Web de cambio de las páginas (el crawler debería visitar más frecuentemente una página que cambia más seguido), entre otras. Indexamiento: ¿qué debería almacenarse de las páginas? El indexamiento es el proceso de construir un índice de las páginas visita das por el crawler. Este índice almacena la información de manera que sea rápido determinar qué páginas son relevantes a una consulta. ¿No basta con almacenar las páginas tal cual, para poder buscar en ellas después? No. Dados los volúmenes de datos involucrados (los mayores bus cadores hoy indexan más de 3 mil millones de páginas, que ocupan varios terabytes), es imposible recorrer una a una todas las páginas almacenadas en un buscador para encontrar cuáles contienen las palabras que le interesan al usuario. ¡Esto demoraría horas o días para una sola consulta! El buscador construye lo que se llama un índice invertido, que tiene una lista de todas las palabras distintas que ha visto, y para cada palabra almace na la lista de las páginas donde ésta aparece mencionada. Con un índice invertido, las consultas se pueden resolver mediante buscar las palabras en el índice y procesar sus listas de páginas correspondientes (intersectándolas, por ejemplo). La figura 4.2 ilustra un índice invertido. Los buscadores grandes deben procesar hasta mil consultas por segun do. Si bien este trabajo puede repartirse entre varios computadores, la exigencia sigue siendo alta. El mayor costo para responder una consulta es el de leer de disco las listas de páginas apuntadas por el índice invertido. Es posible usar técnicas de compresión de datos para reducir el espacio en que se representan estas listas. Con esto se logra ganar espacio y velocidad si 55
- 64. Capítulo 4 Buscando en la Web multáneamente. Pueden hacerse también otras cosas, como precalcular las respuestas a las consultas más populares. Búsqueda: ¿qué preguntas debería responder, y cómo? Hemos estado considerando que el usuario escribe algunas palabras de interés y el buscador le da la lista de las páginas donde aparecen estas pala bras. La realidad es bastante más complicada. Tomemos el caso más elemental, de una consulta por una única palabra. Normalmente hay millo 56 Figura 4.2: Ejemplo de un índice invertido para tres páginas Web.
- 65. Capítulo 4 Buscando en la Web nes de páginas que contienen esa palabra, y está claro que el usuario no tiene la menor posibilidad de examinarlas todas para ver cuáles satisfacen su ne cesidad de información. De alguna manera el buscador debe ordenar las respuestas por su supuesta relevancia a la consulta. Existen muchas formas de calcular esta relevancia, que dan lugar a me jores o peores heurísticas. Por ejemplo, uno puede considerar que una página donde la palabra buscada aparece varias veces es más relevante que otra donde aparece una vez. Pero si la palabra aparece más veces en una pá gina que es mucho más larga que otra, entonces tal vez la palabra no sea tan importante en esa página. También uno puede considerar cuan importante es la página en sí (por ejemplo si es muy visitada, o muy apuntada por otras). Los buscadores utilizan fórmulas matemáticas para calcular la rele vancia que tienen en cuenta estos aspectos. Existen técnicas más sofisticadas, por ejemplo llevar información de cómo se comportaron otros usuarios cuando hicieron esta misma consulta (por ejemplo, el buscador puede saber que la gran mayoría de los usuarios que buscaron mp3 terminaron yendo a ciertos sitios específicos). Esto se lla ma minería de consultas y es extremadamente útil para dar buenas respuestas a consultas que no dicen mucho. También puede usarse información posicio nal, por ejemplo si la palabra aparece en el título de la página o de los enlaces que la apuntan, puede ser más relevante que si aparece cerca del fi nal. La situación se complica cuando la consulta tiene varias palabras, don de algunas pueden ser más importantes que otras. Normalmente las ocurrencias de palabras que aparecen en muchos documentos, como los artí culos y preposiciones, son poco importantes porque no sirven para discriminar. Para peor, sus listas de ocurrencias en los índices invertidos son muy largas, ocupando espacio inútil. Por ello muchos buscadores las omiten 57
- 66. Capítulo 4 Buscando en la Web de sus índices (intente buscar and en su buscador favorito). La forma de combinar el peso de las distintas palabras da lugar también a mejores o peo res heurísticas. Por ejemplo los buscadores en la Web normalmente muestran sólo páginas donde aparecen todos los términos, como una forma de eliminar respuestas irrelevantes. Asimismo, los mejores dan preferencia a páginas donde las palabras aparecen cercanas entre sí. Pero la verdad es que en la Web hay mucha, mucha más información de la que se puede obtener mediante buscar documentos que contengan cier tas palabras. Esta limitación se debe a que no es fácil implementar búsquedas más sofisticadas a gran escala. Conseguir responder consultas más complejas a escala de la Web es un tema actual de investigación. Algu nos ejemplos son: 1. Buscar por contenido en fotos, audio o video. Imagínese mos trar una foto de su promoción y poder encontrar otras fotos de las mismas personas en la Web, incluso sin recordar sus nombres. O ta rarear una parte de una melodía (incluso con errores) y encontrar el mp3 para poder bajarlo. Existen técnicas para hacer esto, pero no a gran escala. Los buscadores ofrecen búsqueda de fotos, pero basada en palabras que una persona se encarga de asociar a cada foto du rante el crawling. 2. Hacer preguntas complejas que se pueden inferir de la Web. Por ejemplo preguntas como ¿cuál es la farmacia más cercana que venda un antigripal a un precio inferior a $ 3.000? y ¿qué universida des dictan una carrera de Diseño Gráfico de 5 años en la Región Metropolitana? Responder este tipo de preguntas requiere normal mente de cierta cooperación de quien escribe las páginas. 58
- 67. Capítulo 4 Buscando en la Web 3. Hacer consultas con componente temporal, como ¿qué ocurrió con el seguimiento en los medios de comunicación a las consecuen cias de la guerra en el Líbano en los meses siguientes a su finalización? Esto requiere llevar una cuenta histórica de los conteni dos de la Web a lo largo del tiempo. Interacción con el Usuario: ¿cómo presentar la información? Ya vimos que las respuestas que se muestran al usuario son sólo una mínima parte de las que califican. Los buscadores normalmente presentan una lista de las primeras páginas según el orden que han hecho en base a la consulta. En esta lista se indica la dirección de la página (para que el usuario pueda visitarla con un click) y usualmente el contexto del texto donde las pa labras aparecen. Esto ayuda al usuario a saber rápidamente si las palabras aparecen en la forma que esperaba (por ejemplo investigación puede refe rirse a científica o policial). Poder mostrar un contexto requiere que el buscador no almacene sólo el índice invertido, sino también el contenido completo de las páginas que indexa. Si bien el espacio es barato, esto es un requerimiento bastante exi gente, ¡pues el buscador debería tener suficiente almacenamiento para duplicar toda la Web en sus discos! Por ejemplo, para reducir el espacio, el buscador puede evitar almacenar las imágenes. La compresión de datos es también útil para aliviar este problema. Los buscadores suelen ser lo suficientemente buenos como para que, en un gran porcentaje de las veces, lo que busque el usuario esté entre las pri meras respuestas que ofrece. De todos modos es posible pedirle que 59
- 68. Capítulo 4 Buscando en la Web entregue el siguiente conjunto de respuestas, y el siguiente, hasta hallar lo que uno busca. La experiencia normal es que, si la respuesta no está en las primeras páginas, es raro que esté más adelante. En esos casos es mejor re formular la consulta, por ejemplo haciéndola más específica (si se encontraron demasiadas páginas irrelevantes) o más general (si se encontra ron muy pocas respuestas). Por ejemplo, en la figura 4.2, si buscáramos investigación encontraríamos tanto la página del Centro de Investigación de la Web como la noticia policial. Refinando la consulta a investigación policial tendríamos mejor precisión. Esta iteración es frecuente en las se siones con los buscadores, y con el tiempo el usuario aprende a formular consultas más exitosas. Existen formas mucho más sofisticadas de presentar la información, pero nuevamente es difícil aplicarlas a sistemas masivos como la Web. Asi mismo suele ocurrir que las interfaces demasiado “inteligentes” resultan ser demasiado complejas para la mayoría de la gente. Incluso los lenguajes de consulta más sofisticados, donde se puede indicar que las palabras A y B de ben aparecer, pero no C, normalmente están disponibles en los buscadores Web, pero se usan muy raramente. La regla en este caso es que la simplici dad es lo mejor. 60
- 69. Capítulo 4 Buscando en la Web Para saber más El sitio www.searchenginewatch.comwww.searchenginewatch.com está dedicado a las estadísticas sobre las principales máquinas de búsqueda en la Web. Los sitios http://www.press.umich.edu/jep/0701/bergman.htmlhttp://www.press.umich.edu/jep/0701/bergman.html y http://www2.sims.berkeley.edu/research/projects/howmuchinfo2003/http://www2.sims.berkeley.edu/research/projects/howmuchinfo2003/ están dedicados a estudiar el crecimiento de la Web, y en general de la cantidad de información disponible en el mundo. El sitio www.todocl.clwww.todocl.cl es el buscador chileno Todo.cl. Referencias 1. Google. http://www.google.comhttp://www.google.com 2. Yahoo! http://www.yahoo.comhttp://www.yahoo.com 3. Microsoft MSN. http://www.msn.comhttp://www.msn.com 4. Ricardo BaezaYates, Berthier RibeiroNeto. Modern Information Retrieval. AddisonWesleyLongman, 1999. Capítulo 13. 61
- 75. Capítulo 5 Manejo de grandes volúmenes de información utilizando Clusters de computadores un libro y por lo tanto el broker puede distribuirlas de manera eficiente utili zando la estrategia de la figura 5.2). En el siguiente paso, todos los computadores en paralelo leen desde su memoria las listas invertidas asocia das con las palabras que forman la consulta del usuario. Luego se realiza la intersección de las listas invertidas para determinar los documentos que con tienen todas las palabras de la consulta. Al término de este paso todos los computadores tienen un conjunto de respuestas para la consulta. Sin embargo, la cantidad de respuestas puede ser inmensamente grande puesto que las listas invertidas pueden llegar a contener miles de identificadores de documentos que contienen todas las pa labras de la consulta. Es necesario hacer un ranking de los resultados para mostrar los mejores K resultados al usuario como solución a la consulta. Para realizar el ranking final de documentos es necesario colocar en uno de los computadores del cluster los resultados obtenidos por todos los otros. Esto con el fin de comparar esos resultados unos con otros y determi nar los mejores K. Sin embargo, enviar mensajes conteniendo una gran cantidad de resultados entre dos computadores puede consumir mucho tiempo. Es deseable reducir la cantidad de comunicación entre computado res. Ahora, si cada computador ha calculado los mejores resultados para la consulta considerando los documentos (listas invertidas) que tiene almace nados en su disco, entonces no es necesario enviarlos todos al computador encargado de realizar el ranking final. Basta con enviar a este computador los K mejores de cada uno de los P1 computadores restantes. Es decir, el ranking final se puede hacer encontrando los K mejores entre los K×P re sultados aportados por los P computadores. 67
- 77. Capítulo 5 Manejo de grandes volúmenes de información utilizando Clusters de computadores Recolección de páginas Web y Clusters Para poder realizar consultas de información en una máquina de bús queda necesitamos que ésta contenga información actualizada de la Web. Los buscadores comerciales tienen software en operación que está constante mente conectándose a los sitios Web de todo el mundo para bajar los documentos de los sitios e indexarlos (es decir, actualizar el índice invertido de la máquina de búsqueda) y ponerlos a disposición de los usuarios. La Web mundial es inmensamente grande y los enlaces a Internet tie nen limitaciones de velocidad de transferencia de datos, por lo tanto no es posible bajar toda la Web en un par de horas. Por ejemplo, actualmente bajar toda la Web Chilena toma de 4 a 5 días utilizando un solo computador co nectado a un enlace de alta velocidad. Para bajar la Web mundial es necesario utilizar clusters de computadores cuyo número varía entre diez y veinte mil computadores y es un proceso que demora varias semanas. Gran parte del éxito de una máquina de búsqueda descansa en su capa cidad de almacenar la versión más reciente de la Web. Por lo tanto es necesario establecer un orden para realizar las visitas a los sitios Web de ma nera de recuperar primero los sitios que son de mayor interés para los usuarios. Una manera de asignar una medida de “interés” para los sitios Web es suponer que los sitios que son más “apuntados” por otros sitios reco nocidos como importantes son también interesantes para los usuarios. Un sitio a es apuntado por otro sitio b, si en el sitio b hay páginas Web que tie nen enlaces o referencias a las páginas del sitio a. La primera página de un sitio Web es llamada homepage. Una o más páginas son descubiertas si, cuando bajamos una página, ésta contiene enla ces a páginas nuevas que no han sido consideradas anteriormente. Entonces 69
- 81. Capítulo 5 Manejo de grandes volúmenes de información utilizando Clusters de computadores Para saber más Una presentación en el Centro de Investigación de la Web sobre el mismo tema: www.ciw.cl/material/tw07mmarin.pdfwww.ciw.cl/material/tw07mmarin.pdf El artículo “Web Search for a Planet: The Google Cluster Architecture,” de Luiz Barroso, Jeffrey Dean y Urs Hoelzle, comenta la arquitectura de clusters de Google: http://labs.google.com/papers/googlecluster.htmlhttp://labs.google.com/papers/googlecluster.html Referencias 1. Ricardo BaezaYates, Berthier RibeiroNeto: Modern Information Retrieval AddisonWesleyLongman, 1999. Capítulos 9 y 13. 2. Luiz Barroso, Jeffrey Dean, Urs Hoelzle. “Web Search for a Planet: The Google Cluster Architecture.” IEEE Micro, Marzo/Abril 2003 (vol. 23, nro. 2). Páginas 2228. http://labs.google.com/papers/googlecluster.htmlhttp://labs.google.com/papers/googlecluster.html 73
- 83. Capítulo 6 XML: Transformando la Web en una Base de Datos Marcelo Arenas Una de las razones para la popularización de la Web ha sido el desarro llo de una infinidad de páginas que entregan distintos servicios; buscadores como Yahoo! y Google, grandes repositorios de información como Wikipe dia, tiendas electrónicas como Amazon, diarios y revistas electrónicas, página personales, etc. Bajo este desarrollo ha estado HTML, un lenguaje que permite estructurar tanto la información como las posibilidades de na vegación en una página Web. Durante los últimos años, la cantidad de información almacenada en la Web ha ido creciendo de manera dramática. Hoy ningún usuario tiene la ca pacidad de recorrer la Web entera en busca de información, y es necesario utilizar buscadores automáticos como Yahoo! y Google para poder revisar una fracción significativa de esta red. Nadie puede negar la importancia y utilidad que tienen los buscadores para encontrar información en la Web. Sin embargo, muchos usuarios pueden de cir que su experiencia con ellos no ha sido completamente satisfactoria. A medida que las consultas que se quiere realizar son más complejas, la bús queda de información puede requerir de varios, o muchos, intentos en los cuales es necesario jugar con distintos parámetros. Piense por ejemplo en la 75
- 85. Capítulo 6 XML: Transformando la Web en una Base de Datos browser tal como FireFox o Explorer, esta lista será desplegada de la siguien te forma: Todo Libros ● Teoría de Juegos. Martin Osborne y Ariel Rubinstein. Precio: 16000. Para un usuario la información en esta lista es fácil de entender; es claro que hay una lista de libros, cada uno con sus autores y su precio. Sin embar go, para un computador esta información no es tan clara. Una de las razones es que el computador no tiene la información de contexto, o metainforma ción, que tiene el usuario. ¿Cómo puede un computador deducir que está frente a una lista de libros? Y aun si sabe esto, ¿cómo puede extraer informa ción desde el documento, por ejemplo los precios de los libros? Es importante notar aquí que el documento HTML no tiene ninguna indicación sobre donde buscar esta información, simplemente dice cómo debe ser des plegada la lista de libros. Así, el computador debe tratar de interpretar el texto para poder extraer la lista de precios. Por ejemplo, puede buscar la pa labra “Precio” y el número que lo sigue (o antecede). Aunque en este caso esto puede dar buenos resultados, la situación puede volverse más compli cada si la lista contiene varios precios para un mismo libro (precio sin descuento, con descuento por compra electrónica, con descuento a clientes frecuentes, etc), o aun más complicada si se requiere de hacer algunos cálcu los para saber el precio final (precio después del 15% de descuento por compra electrónica). La búsqueda de información en la Web puede mejorarse si los formatos usados para almacenar información pueden ser fácilmente interpretados por 77
- 86. Capítulo 6 XML: Transformando la Web en una Base de Datos los computadores. Una propuesta para hacer esto es el uso de XML, como se verá en las siguientes secciones. XML: Un lenguaje para almacenar información Un documento XML (eXtensible Markup Language [2]) es similar a un documento HTML; está compuesto por marcadores, o “tags”, que están ani dados como en el caso de HTML. La mayor diferencia es que los marcadores de HTML tienen significados predefinidos, tales como <title> y <ul>, mientras que los de XML son definidos por el usuario. Por ejemplo, el si guiente es un documento XML que almacena la misma información que el documento HTML mostrado en la sección anterior: <?xml version="1.0"?> <libreria> <nombre>Todo Libros</nombre> <libro> <titulo>Teoría de Juegos</titulo> <autor> <nombre>Martin</nombre> <apellido>Osborne</apellido> </autor> <autor> <nombre>Ariel</nombre> <apellido>Rubinstein</apellido> </autor> <precio>16000</precio> </libro> </libreria> 78
- 87. Capítulo 6 XML: Transformando la Web en una Base de Datos Como puede verse, el documento está compuesto por marcadores tales como <libreria>, <libro> y <autor>. Un marcador con nombre <a> es ce rrado por uno con nombre </a>. Los nombres de los marcadores fueron definidos por un usuario, y la única restricción que deben cumplir, como en el caso de HTML, es que deben estar correctamente anidados; si leyendo el documento de arriba hacia abajo <autor> aparece después de <libro>, en tonces el marcador </autor> que lo cierra debe aparecer antes que el marcador </libro> que cierra a <libro>, vale decir, <autor> debe estar completamente contenido dentro de <libro>. A través de esto se especifica que <autor> es uno de los autores de <libro>. Los marcadores del documento XML fueron diseñados para mostrar de forma clara la información sobre un libro. Si un computador quiere buscar el título de un libro, entonces basta con que busque el marcador <titulo>, y si quiere encontrar el precio del libro con título “Teoría de Juegos”, entonces basta que encuentre un marcador <libro> que tenga “Teoría de Juegos” en <titulo>, y que después despliegue lo que se encuentra en el marcador <precio> dentro de ese libro. La forma en que la información está agrupada y los nombres de los marcadores le indican a un computador dónde buscar información. XML entonces surge como una buena alternativa para almacenar infor mación; un computador tiene mayores posibilidades de interpretar y extraer información desde este tipo de documentos. ¿Debemos entonces reemplazar HTML por XML? La respuesta es no. Estos dos lenguajes tienen distintas fi nalidades. Mientras HTML es usado para especificar cómo desplegar información en un browser, XML es usado para almacenar información y no contiene indicaciones de como mostrarla. Se tiene entonces que diseñar tec nologías que permitan sacar ventajas de los dos lenguajes. En la siguiente sección se verá cómo hacer esto. 79
- 88. Capítulo 6 XML: Transformando la Web en una Base de Datos Transformación de documentos XML Una de las razones para la creación de XML fue tener un formato que permitiera intercambiar información en la Web. La idea es que si varias per sonas o empresas desean intercambiar datos sobre un tema común, por ejemplo libros, y usan formatos XML distintos para almacenar su informa ción, entonces puedan intercambiar información de manera sencilla. La forma de hacer esto es usando algún lenguaje de transformación que permi ta cambiar de un formato a otro. Por ejemplo, si una empresa usa el formato: <autor> <nombre>Martin</nombre> <apellido>Osborne</apellido> </autor> para almacenar los nombre de autores de libros, mientras otra usa un forma to más simple donde el nombre es almacenado como una sola palabra: <autor>Martin Osborne</autor> entonces una regla de transformación desde el primer formato al segundo debe concatenar el nombre y apellido de un autor para generar su nombre como una sola palabra. XML fue elegido como el lenguaje para intercambiar información por su gran flexibilidad, esencialmente cualquier documento XML es válido mientras la anidación de los marcadores sea correcta. El lenguaje elegido para especificar las transformaciones fue XSLT (Extensible Stylesheet Lan guage Transformations [3]). Este es un lenguaje que busca patrones dentro de un documento e indica cómo reestructurarlos. Por ejemplo, busca el tag <autor>, y después indica que las palabras que aparecen dentro de <nom bre> y <apellido> para este autor tienen que ser concatenadas. 80
- 93. Capítulo 6 XML: Transformando la Web en una Base de Datos Extracción de información desde XML En las secciones anteriores se mostró un enfoque para almacenar infor mación en la Web en el cual los datos son almacenados en XML y mostrados a los usuarios en HTML (utilizando transformaciones escritas en XSLT). Se argumentó que éste era un buen enfoque porque permitía tener lo mejor de dos mundos: por una parte para un computador es más fácil interpretar in formación escrita en XML, y por lo tanto es más fácil extraer información desde este formato; y por otra parte HTML provee de buenas herramientas para desplegar información en la Web. Para que el enfoque anterior pueda llevarse a cabo es necesario tener buenos lenguajes de consulta para XML. Estos lenguajes deben ser suficien temente expresivos como para permitir al usuario expresar consultas generales, y también deben estar acompañados de procedimientos eficientes para evaluar consultas. En esta sección se va a introducir XPath y XQuery, los dos lenguajes de consulta más populares para XML. La primera versión estandarizada de XPath es de 1999 [4]. XPath puede ser considerado como el lenguaje de consulta más popular para XML, ya que forma parte de la mayor parte de los lenguajes de consulta para XML y, en particular, es parte de XQuery [1], como se verá más adelante. XPath provee una serie de herramientas que permiten navegar un documento XML, selec cionar elementos desde él y extraerlos para ser desplegados o usados por otras consultas. Una de las razones de la popularidad de XPath es que estas herramientas son simples de usar, y son lo suficientemente expresivas para poder manejar muchas de las consultas que los usuarios tienen en la prácti ca. Además, la estructura simple de este lenguaje ha permitido el desarrollo de procedimientos eficientes para evaluar consultas. 85
- 94. Capítulo 6 XML: Transformando la Web en una Base de Datos La mejor manera de entender XPath es a través de algunos ejemplos. Suponga que se está utilizando el documento XML con información sobre li bros descrito en la sección 6.1, y que se ha utilizado repetidas veces en este capítulo. Si un usuario quiere extraer el nombre de la librería, entonces pue de utilizar la siguiente consulta XPath: child/?nombre/text() Esencialmente una consulta en XPath consiste de un camino, y su res puesta es el conjunto de todos los elementos que pueden ser alcanzados en un documento XML, siguiendo el camino desde el primer elemento de este documento. En una consulta XPath se pueden utilizar palabras que tienen un significado reservado (child y text() en el ejemplo) o palabras cuyo significado está dado por un documento (nombre en el ejemplo). Además, en una expresión XPath se puede utilizar el símbolo ? para indicar que se quie re chequear una condición. En el ejemplo, la palabra reservada child es utilizada para pasar de un elemento a sus hijos y ?nombre indica que sólo se va a considerar los elementos con marcador <nombre>. De esta forma, utili zando la expresión child en el ejemplo se pasa de un elemento con marcador <libreria> a los que tiene marcadores <nombre> y <titulo>, y luego utilizando el test ?nombre se selecciona el único elemento con marca dor <nombre> hijo del elemento con marcador <libreria>. Finalmente se utiliza text() para extraer el texto almacenado dentro del elemento con marcador <nombre>, vale decir, Todo Libros. Es importante destacar que para simplificar la presentación del lengua je XPath, no se está usando aquí la sintaxis de XPath definida en [4], sino que una versión simplificada (pero que refleja la forma en que trabaja XPath). Suponga ahora que se quiere extraer la lista de apellidos de todos los autores de libros. Para hacer esto, se puede utilizar la siguiente consulta: descendant/?apellido/text() 86
- 95. Capítulo 6 XML: Transformando la Web en una Base de Datos La mayor diferencia con la consulta anterior es la utilización de la pala bra reservada descendant, la cuál indica que se debe utilizar a los descendientes del primer elemento del documento, vale decir, a los elemen tos que son alcanzables utilizando los caminos child, child/child, child/ child/child, etc. Nótese que esta consulta funciona incluso en casos en que la información sobre autores es dada de manera menos estructurada: ... <primer_autor> <nombre>Martin</nombre> <apellido>Osborne</apellido> </primer_autor> <segundo_autor> <nombre>Ariel</nombre> <apellido>Rubinstein</apellido> </segundo_autor> ... En general, se considera una ventaja de XPath el que pueda funcionar sobre información semiestructurada, ya que en la práctica la estructura de muchos documentos XML es irregular. En este punto, el lector probablemente se ha dado cuenta de que la con sulta anterior puede funcionar de manera incorrecta si el documento no sólo contiene apellidos de autores (por ejemplo, contiene los apellidos de la gente que trabaja en la librería). En ese caso se puede utilizar la consulta descen dant/?libro/descendant/?apellido/text() que busca apellidos que aparezcan dentro de elementos con marcador <libro>. Una de las limitaciones de XPath es la falta de herramientas para es tructurar la información que se extrae; una consulta en XPath retorna un conjunto de elementos y no un documento XML. XQuery es un lenguaje más 87
- 96. Capítulo 6 XML: Transformando la Web en una Base de Datos completo, que usa XPath para navegar documentos XML y tiene herramien tas para estructurar la información extraída como un documento XML [1]. En el siguiente ejemplo se muestra una consulta XQuery: let $lib := doc("libreria.xml") return <lista> { for $x in $bib/child/?libro for $y in $x/descendant/?apellido where $y/text() = Rubinstein return <libro> { <titulo> $x/descendant/?titulo/text() </titulo> <precio> $x/descendant/?precio/text() </precio> } </libro> } </lista> Al igual que para el caso de XPath, en una consulta XQuery pueden aparecer elementos que tienen un significado predefinido y otros que deben ser interpretados en un documento XML. En la consulta anterior, let es uti lizado para indicar que la variable $lib está ligada al documento libreria.xml (una variable en XQuery comienza con el símbolo $). Ade más, en esta consulta for es usado para indicar que una variable debe tomar todos los valores alcanzados al utilizar un camino en XPath. Por ejemplo, for $x in $bib/child/?libro indica que $x va a tomar como valor los elementos con marcador <libro> que son hijos del primer elemento del do cumento. Nótese que al igual que en un lenguaje de programación, las 88
- 97. Capítulo 6 XML: Transformando la Web en una Base de Datos instrucciones que utilizan for pueden aparecer anidadas. En la consulta an terior, where es usado para chequear una condición y return para indicar que algo debe estar en la salida de la consulta. Así, por ejemplo, en la condi ción where $y/text() = Rubinstein se chequea que el apellido del autor que se va a utilizar sea Rubinstein. Es importante destacar que en una con sulta XQuery se puede indicar cómo se va a estructurar la respuesta colocando marcadores XML. En el ejemplo, <lista> es el marcador del pri mer elemento del documento de salida, y contiene como hijos una serie de libros con marcador <libro>. Seguramente el lector ya se ha dado cuenta que la consulta anterior re torna la lista de libros escritos por Rubinstein con sus precios. Esta es una de las consultas que se planteó al principio de este capítulo, y para las cuales no era claro como responderlas si la información era almacenada en documen tos HTML. Como se muestra en el ejemplo, si la información se almacena en formato XML, una simple consulta en XQuery puede bastar para extraer la información deseada. Incluso en el caso de la consulta más compleja vista al comienzo de este capítulo (“dé la lista de libros de Rubinstein que han baja do de precio en los últimos años”), una consulta en XQuery puede ser usada para extraer la información deseada. Para recordar ¿Qué debería recordar el lector después de navegar por este capítulo? El lector debería estar satisfecho si la arquitectura presentada en la Figura 6.2 le resulta familiar. En caso de que el lector no recuerde todos los componentes de la Figura 6.2, aquí damos un breve resumen de lo que se trató este capítulo. El lengua je HTML es usado para indicar a un browser (tal como FireFox o Explorer) la 89
- 99. Capítulo 6 XML: Transformando la Web en una Base de Datos Para saber más El sitio de la World Wide Web Consortium o simplemente W3C (http://www.w3.org/http://www.w3.org/) es un buen lugar para informarse de los avances en las tecnologías Web como XML. El sitio http://www.w3schools.com/http://www.w3schools.com/ tiene tutoriales sobre HTML, XML, XSLT, XPath, Xquery, etc. Referencias 1. S. Boag, D. Chamberlin, M. F. Fernández, D. Florescu, J. Robie y J. Siméon. XQuery 1.0: An XML Query Language. Recomendación de la W3C, enero 2007, http://www.w3.org/TR/xquery/http://www.w3.org/TR/xquery/ 2. T. Bray, J. Paoli, C. M. SperbergMcQueen, E. Maler, F. Yergeau. Extensible Markup Language (XML) 1.0. Recomendación de la W3C, agosto 2006, http://www.w3.org/TR/2006/RECxml20060816/http://www.w3.org/TR/2006/RECxml20060816/ 3. J. Clark. XSL Transformations (XSLT) Version 1.0. Recomendación de la W3C, noviembre 1999, http://www.w3.org/TR/xslthttp://www.w3.org/TR/xslt 4. J. Clark y S. DeRose. XML Path Language (XPath) Version 1.0. Recomendación de la W3C, noviembre 1999, http://www.w3.org/TR/xpathhttp://www.w3.org/TR/xpath 91
- 101. Capítulo 7 Uso y Búsqueda de Información Geográfica en la Web Andrea Rodríguez Si bien es cierto que en sus primeros tiempos la Web contenía esencial mente documentos textuales, hoy en día y en forma creciente la Web contiene también información en forma de imágenes, mapas, audio y videos. Esto amplía las posibilidades para que buscadores tradicionales incorporen nuevas facilidades en la búsqueda de información y formas de presentar los resultados de estas búsquedas. Un ejemplo de esto es el ya conocido Google Earth [4], el cual nos brinda la posibilidad de combinar imágenes satelitales, mapas, levantamientos de terreno o edificaciones en 3 dimensiones para po der entregar información referente a lugares específicos (ej. hoteles, hospitales, etc.), explorar información geográfica general en forma de videos o mapas (ej. paisajes, mapas de transporte, etc.) y compartir lugares de inte rés agregando información adicional (ej. fotos, notas, etc.). Lo que hace que Google Earth no sea sólo un conjunto de imágenes es que éstas tienen la semántica dada por un dominio particular de informa ción, en este caso, como información geográfica. Lo interesante es que si sabemos de qué trata la información, entonces podemos usar propiedades tí 93
- 103. Capítulo 7 Uso y Búsqueda de Información Geográfica en la Web • Textos, en los que las referencias a localizaciones geográficas se dan, principalmente, mediante nombre de lugares y terminologías en lenguaje natural para las relaciones con otros lugares. Con el primer y segundo tipo de información geográfica uno puede asociar información a la localización de un lugar por las coordenadas que describen su latitud y longitud. Tal tipo de información se utiliza típicamen te en la visualización y manipulación de mapas a través de servicios Web de información geográfica o Geo Web Services. Google Maps [5] cae dentro de este tipo de servicios proveiendo una plataforma base de cartografía e imágenes satelitales que nos permiten situarnos en un punto particular del espacio. El segundo tipo de información geográfica también representa elemen tos en el espacio geográfico aunque, implícitamente, mediante referencias que no están basadas en un sistema de coordenadas, sino que, más bien, se asocian a diferentes aspectos de un documento en la Web, específicamente: • dónde fueron creados los documentos, • de qué tratan o a qué se refieren los documentos, • dónde residen los usuarios de los documentos. A modo de ejemplo de estos tipos de referencias geográficas, un usua rio podría requerir manejar las páginas de la Web Chilena o encontrar documentos que hagan referencia a Concepción o a alguna entidad geográfi ca relacionada a esa ciudad, o bien determinar los documentos que son usualmente visitados por usuarios ubicados en Concepción. El manejo de es tas referencias geográficas han impulsado la extensión de las máquinas tradicionales de búsqueda, dando origen a las denominadas máquinas de bús queda Web geográfica o Geo Web Search Engines. 95
- 104. Capítulo 7 Uso y Búsqueda de Información Geográfica en la Web 96 (a) (b) Figura 7.1: Tipos de información geográfica: (a) página Web con geo-referencias textuales y (b) servicio Web de mapas.
- 105. Capítulo 7 Uso y Búsqueda de Información Geográfica en la Web Servicios Web de información geográfica y máquinas de búsqueda pue den combinarse en un mismo sistema. Por ejemplo, uno puede pensar en tener información cartográfica que sirve de base de visualización de docu mentos textuales manejados por máquinas de búsqueda Web geográficas (ej. Google Earth). Servicios web de información geográfica Servicios Web de información geográfica (GWSs: Geospatial Web Servi ces) son componentes modulares de aplicaciones que pueden ser publicadas, localizadas e invocadas a través de la Web, de modo de accesar y procesar datos de una variedad de repositorios de datos geográficos (figura 7.2). GWSs implementan tareas de procesamiento geográfico, tales como visuali zación cartográfica o planificación de rutas. 97 Figura 7.2: Componentes de una arquitectura de servicios Web de información geográfica compuesta de: el solicitante de información, el agente descubridor de los servicios que satisfacen a un solicitante y el proveedor de información tanto en forma de mapa (WMS) o en documentos de objetos geométricos o GML (FWS).
- 106. Capítulo 7 Uso y Búsqueda de Información Geográfica en la Web La tecnología de GWSs se basa en una serie de protocolos estándares derivados del XML a diferentes niveles de especificación, desde especifica ción de información geométrica hasta descripción de metadatos. Debido a que el número de GWSs disponibles hoy en día en la Web crece de manera rápida y continua, adicionalmente a los problemas intrínsecos de la gran di versidad en la forma de describir y representar información geográfica, descubrir los servicios que contienen los datos geográficos de interés entre to dos los servicios disponibles es una tarea central para el desarrollo de GWSs. Comúnmente, el descubrimiento de servicios Web es del tipo sintáctico a tra vés de interfaces estándares para una búsqueda basada en taxonomías o palabras claves. En presencia de diferentes proveedores de información geográfica, sin embargo, es usual que una simple búsqueda sintáctica no permita un descu brimiento apropiado de información. Consideremos, por ejemplo, el caso de querer encontrar mapas que describan parques nacionales en el sur de Chile. Uno debería hacer una búsqueda por parques nacionales y por el sur de Chile (la relación en es generalmente eliminada en los buscadores tradicionales) o por una secuencia fija de caracteres parques nacionales en el sur de Chile. Esta búsqueda meramente sintáctica no podría considerar los siguientes aspectos de la semántica de la consulta: • ¿Qué zonas incluye el sur de Chile? • ¿Cuál es la semántica de la relación en? ¿Qué sucede si un par que nacional se sobrepone a dos zonas geográficas (centro y sur de Chile)? • ¿Son los parques administrados en la región considerados na cionales o no? Todos estos aspectos han inducido a nuevos trabajos dentro del contex to de Web Semántica denominado Geo Web Semántica [1,8]. La idea es crear 98
- 107. Capítulo 7 Uso y Búsqueda de Información Geográfica en la Web representaciones de los recursos de información geográfica, y asociar estos recursos con estructuras de representación formales que están siendo cons truidas en el contexto de la Web Semántica. Máquinas de búsqueda Web geográfica Máquinas de búsqueda Web geográfica (MBGs) surgen como una nue va forma de recuperar información de la Web que explota dos ideas básicas: (1) recursos en la Web tienen una referencia geográfica e (2) información ge ográficamente cercana es más relevante. La ideas de estas máquinas de búsqueda es que uno pueda preguntar por palabras claves y por una locali dad geográfica, de manera que los resultados de una búsqueda sean documentos que hagan referencia a esa localidad o a alguna geográficamen te cercana [7]. Así, los resultados pueden no sólo ser presentados como una lista de documentos en orden de relevancia, sino que visualmente como sím bolos sobre un mapa cuyas ubicaciones indican la existencia de documentos que las referencian. Una arquitectura para estas máquinas extiende la arqui tectura clásica de máquinas tradicionales (figura 7.3). Tres aspectos importantes en la implementación de una MBG son: (1) cómo extraer las referencias geográficas y asociar un geo coding a los docu mentos Web, (2) cómo realizar el indexamiento de las páginas según su geo referencia y contenido de manera de agilizar su búsqueda por palabras cla ves y por nombre de lugares, y (3) cómo introducir en la relevancia (i.e. ranking) de los resultados el concepto de vecindad espacial o proximidad de los documentos respecto a una consulta de un usuario. Mientras los dos últi mos aspectos incorporan a los mecanismos de indexamiento y relevancia de buscadores tradicionales nociones referente al manejo de información espa cial, geo coding es una tarea particular de MBGs. 99
- 108. Capítulo 7 Uso y Búsqueda de Información Geográfica en la Web Extraer las geo referencias de una página Web no es una tarea fácil. Una de las formas más simples de geo referenciar una página Web es consi derar la localización del servidor que la contiene como lugar de referencia. Otra forma de asociar geo referencias a documentos Web es agregando in formación de metadatos geoespaciales (geo tags), denotando que el contenido de la página Web es relevante para cierta localización. Esta locali zación puede ser descrita usando protocolos estándares basados en XML tales como el GeoRSS [6]. Finalmente, otras técnicas realizan un parsing o 100 Figura 7.3: Una arquitectura para máquinas de búsqueda de información geográfica compuesta de: (1) crawling para recolección y segmentación de páginas Web en texto y geo referencias, (2) indexamiento para generar un índice que agilice la búsqueda en base a términos y geo referencias, y (3) la búsqueda que recupera y selecciona documentos en base a un ranking por contenido (texto) y proximidad (espacio).
- 109. Capítulo 7 Uso y Búsqueda de Información Geográfica en la Web segmentación de documentos completos para extraer nombres de lugares, como ciudades o regiones. Actualmente, el desarrollo de máquinas de búsqueda Web geográficas presenta grandes desafíos para la investigación. Algunos de estos temas son: • Desarrollo de prototipos de buscadores a gran escala. Esto in volucra consideraciones de rendimiento y escalabilidad para la recolección, indexamiento y búsqueda de páginas con geo coding. • Técnicas que combinen procesamiento de lenguaje natural, data mining, análisis de enlaces entre documentos y estructura de documentos para obtener mejoras en cuanto a geo coding. • Crawling y ranking que incorporen nociones de localidad. Así, por ejemplo, uno podría analizar la estructura espacial y de cone xión entre las páginas Web y detectar páginas que sean más enlazadas globalmente (ej. en el mundo) o localmente (ej. en el país). Luego páginas con referencia local serían más relevantes en el con texto de una búsqueda con referencia a esa localidad. • Procesamiento de consulta y diseño de interfaces de búsqueda espacial. En este sentido, analizar estrategias de ranking de resulta dos que permitan una mejor visualización de éstos de manera de reflejar tanto su similitud espacial y de contenido. • Mining de datos geográficos en la Web. Temas de mining de datos geográficos refieren al análisis (clasificación, reconocimiento de patrones, agrupamiento) de la estructura, uso y contenido de las páginas Web en base a un criterio espacial. Por ejemplo, analizar la distribución geográfica de las personas que se conectan a ciertos si tios y el enlace entre páginas geográficamente distribuidas. 101
- 110. Capítulo 7 Uso y Búsqueda de Información Geográfica en la Web Para saber más La presentación “A Spatial Dimension for Searching the World Wide Web” http://www.ciw.cl/recursos/andreaHIS2002.pdfhttp://www.ciw.cl/recursos/andreaHIS2002.pdf trata temas relacionados con la búsqueda geoespacial. El libro “The Geospatial Web: How Geobrowsers, Social Software and the Web 2.0 are Shaping the Network Society” trata estos temas. Se puede ver un capítulo de ejemplo en: http://www.geospatialweb.com/http://www.geospatialweb.com/ Wikipedia tiene una entrada para la Geoweb: http://en.wikipedia.org/wiki/Geowebhttp://en.wikipedia.org/wiki/Geoweb Referencias 1. Max Egenhofer (2002). Toward the Semantic Geospatial Web, ACM GIS: Symposium on Advances in Geographic Information Systems, ACM Press, pp. 14. 2. ISO/TC. ISO/TC 211 Geographic information/Geomatics. URL: http://www.isotc211.org/http://www.isotc211.org/ 3. OpenGis. OpenGIS' Specifications (Standards). URL: http://www.opengeospatial.org/standardshttp://www.opengeospatial.org/standards 4. Google Earth. URL: http://earth.google.com/http://earth.google.com/ 5. Google Maps. URL: http://maps.google.es/http://maps.google.es/ 6. GeoRSS: Geographically encoded Objects for RSS feeds. URL: http://www.georss.org/http://www.georss.org/ 7. Andrea Rodríguez (2002). A Spatial Dimension for Searching the World Wide Wb, Hybrid Intelligent Systems, IO Press, pp. 583592. 8. Frederico Fonseca and Andrea Rodríguez (2007). From GeoPragmatics to Derivation Ontologies: New Directions for the GeoSpatial Semantic Web. Transactions in GIS 11(3): 313316. 102
- 113. Capítulo 8 Multimedia en la Web El problema no es solamente temporal, es decir, de tener el tiempo sufi ciente para realizar las anotaciones, sino de cómo describir el contenido de una cierta fotografía o video. Distintas personas generarán distintas descrip ciones en distintos instantes de tiempo. Por ejemplo, una persona de nombre Juan puede sacarse una fotografía durante sus vacaciones en Isla de Pascua. En la fotografía aparece Juan con su amiga María, una playa y una embarca ción de nombre Anakena. ¿Cuál es la mejor descripción o anotación para esta fotografía? ¿Juan? ¿Juan en vacaciones?, ¿Juan y María? ¿Anakena? ¿pa reja en la playa? ¿vacaciones en Isla de Pascua? ¿playa? ¿mar? ¿arena? ¿embarcación en la playa? Obviamente todas estas anotaciones podrían utili zarse, sin embargo, al momento de publicar la fotografía no puede saberse cuál es la mejor descripción. La mejor dependerá de qué se esté buscando y de quién realice la búsqueda. El problema obvio es que la anotación y la bús queda de la fotografía suceden en distintos instantes, por lo que al anotar la imagen no se conoce los requerimientos de sus futuras operaciones de bús queda. Una segunda alternativa para anotar objetos multimediales consiste en usar categorías fijas como las que por ejemplo usa el sitio YouTube [3] para clasificar sus videos. El problema en este caso es que a la fotografía o al vi deo a ser publicado se le debe asignar una cierta categoría fija. Los problemas son obvios: el objeto multimedial a ser clasificado puede caer en más de una categoría y la determinación de la categoría depende del ser hu mano que realice la categorización. Una tercera alternativa para realizar las anotaciones es permitir que un sistema computacional puedan realizar las anotaciones en forma automati zada (sin intervención humana) y por lo tanto objetiva. En este caso pediremos al sistema computacional que genere una descripción del objeto multimedial a ser anotado. Esta descripción se usará posteriormente como 105
- 114. Capítulo 8 Multimedia en la Web un índice, por medio del cual se podrá buscar al objeto en cuestión. Al usar índices, la tarea de anotar se denomina indexación5 . Se le agrega el adjetivo automatizada para enfatizar el hecho de que esta labor se realiza sin inter vención humana. Indexación automatizada de la información multimedial La indexación automatizada de información mutimedial trae consigo múltiples beneficios como ahorro en tiempos de búsqueda y estandarización en las anotaciones de las imágenes. Como fue mencionado anteriormente, los seres humanos realizan anotaciones o clasifican las imágenes de acuerdo a criterios propios. Además, cuando un humano anota una imagen se preo cupa obviamente de las necesidades de búsqueda presentes y no piensa en las futuras. Esto provoca que la información que no es anotada en el presen te, no pueda ser buscada en el futuro. Sin embargo, la indexación automatizada permite anotar en forma objetiva la mayor cantidad de carac terísticas posibles y de esta forma anticiparse a las necesidades futuras de búsqueda del usuario. Existen indexaciones de tipo texto (cada imagen recibe una descripción textual explícita, i.e. una frase que la representa), por atributos (cada imagen es descrita mediante una especificación de ciertos atributos que contiene, ej. texturas) o por contenido (la forma, el color o alguna otra característica de los objetos que contiene la imagen es utilizada en forma implícita para su in dexación). En cada uno de estos caso el objeto multimedial se almacena junto a su descriptor en la base de datos. 5 Se utilizan también los términos indización (de índice) e indexamiento (del inglés index). 106
- 116. Capítulo 8 Multimedia en la Web Búsqueda o Recuperación de información multimedial Las operaciones de búsqueda de información multimedial, también co nocidas como recuperación6 de información multimedial, se realizan utilizando los descriptores almacenados en la base de datos junto a los obje tos multimediales7 . El sistema ideal de búsqueda debiera, a partir de una descripción textual en lenguaje natural del contenido de una imagen, encon trar todas aquellas imágenes que corresponden a dicho contenido, sin importar como éstas fueron anotadas. Por ejemplo, “imágenes con perros”, “imágenes del hundimiento de un barco”, “imágenes de Isla de Pascua”, “fotos de mi mamá”, etc. Sin embargo, este sistema ideal no es realizable en la actualidad. Si las imágenes fueron anotadas usando descriptores textuales es muy poco probable que las personas que anotaron dichas imágenes hayan utilizado los mismos descriptores textuales usados en la operación de bús queda. Si las imágenes fueron anotadas utilizando un sistema de indexación automatizada en base a su contenido de bajo nivel (color, bordes, textura, etc.) es difícil encontrar la adecuada correspondencia entre los descripciones textuales de alto nivel utilizados por los seres humanos, para describir el contenido de las imágenes, y las descripciones de bajo nivel utilizadas por los sistemas computacionales de recuperación de imágenes. Este problema se conoce como el gap semántico existente entre las descripciones de bajo y alto nivel [4]. Debido al no resuelto problema del gap semántico, en la actualidad debe utilizarse el mismo tipo de descriptores tanto para anotar como para 6 En la literatura científica de habla inglesa esta operación se conoce como retrieval. 7 Recordemos que en nuestro caso estamos interesados en bases de datos accesibles a través de la Web. 108
- 118. Capítulo 8 Multimedia en la Web usadas son de distancia vectorial (Euclidiana, de Mahalanobis, etc.) y corre lación. Entre los descriptores de bajo nivel más utilizados se encuentran aquellos basados en información de color (e.g. histogramas de color), textu ras (e.g. matrices de coocurrencia) y bordes (e.g. histogramas de bordes direccionales). Finalmente, cabe señalar que también existen sistemas de búsqueda en base a categorías. En este caso el usuario selecciona una categoría y el siste ma de búsqueda retorna objetos multimediales correspondientes a esa categoría (“seres humanos”, “animales”, “Chile”, “África”, “deportes”, etc.). Tal como fue señalado anteriormente, la principal limitación de estos siste mas es la rigidez del sistema de categorización, y que el usuario debe navegar por un sinnúmero de categorías y subcategorías hasta encontrar el objeto multimedial requerido. 110 Figura 8.2: Sistema estándar de recuperación de información multimedial.
- 119. Capítulo 8 Multimedia en la Web Para saber más Alejandro Jaimes, Javier RuizdelSolar, R. Verschae, Dinko Yaksic, Ricardo BaezaYates, Emilio Davis, Carlos Castillo. “Búsqueda por Contenido Visual: TREC 2003 y la Web Chilena.” Presentación. CIW/DCC/DIE Universidad de Chile. http://www.ciw.cl/recursos/uchile_talk_june26.pdfhttp://www.ciw.cl/recursos/uchile_talk_june26.pdf Referencias 1. How Much Information? 2003 Project Web site. Berkely University. Disponible el 23 de abril de 2007 en http://www.sims.berkeley.edu/research/projects/howmuchhttp://www.sims.berkeley.edu/research/projects/howmuch info2003/internet.htminfo2003/internet.htm 2. itunes Web site. Disponible el 23 de abril de 2007 en: http://www.apple.com/itunes/http://www.apple.com/itunes/ 3. YouTube Web site. Disponible el 23 de abril de 2007 en: http://www.youtube.com/http://www.youtube.com/ 4. Intervalo Semántico. Wikipedia la Enciclopedia Libre. http://es.wikipedia.org/wiki/Intervalo_semánticohttp://es.wikipedia.org/wiki/Intervalo_semántico 111
- 122. Capítulo 9 Redes Sociales Grafos. Esta última permite cuantificar los vínculos entre las personas que pertenecen a una red social y analizar la estructura de dicha red. En base a la teoría de grafos, el análisis de redes sociales define a las personas como no dos, y las relaciones entre éstas como aristas. El análisis de redes sociales se basa en la idea de que la relación entre las personas es más importante que sus características individuales, es por esto que su estudio se ha desarrollado en términos matemáticos abstractos y repre senta un enfoque alternativo al estudio tradicional de organizaciones sociales, donde las características individuales son lo primordial. El análisis de redes sociales se enfoca en la estructura de estas redes, y su unidad de análisis es la relación entre dos personas. Las relaciones fuertes entre personas, por ejemplo un matrimonio, conforman aristas fuertes. Las aristas débiles muchas veces tienen mayor importancia que las fuertes, ya que proveen un atajo entre personas que de otra forma no estarían conectadas, generando así mayores oportunidades de exposición a nuevas ideas y gru 114 Figura 9.1: Ejemplo de Grafo para una Red Social compuesta por 11 personas
- 125. Capítulo 9 Redes Sociales 1. Correo electrónico (Email): Es una herramienta omnipresente que permite comunicarnos tanto con nuestra familia, amigos, compañeros de tra bajo, como con los líderes de opinión y autoridades que antes resultaban inalcanzables. Un análisis de nuestro uso del correo y nuestra libreta de di recciones permitiría generar una imagen de nuestras redes sociales: la frecuencia de los mensajes revelaría la fuerza de las aristas en nuestra red. Las listas de correo electrónico también conforman redes sociales organiza das en torno a temas particulares. 2. Mensajería Instantánea (IM): La comunicación sincrónica que estos sistemas permiten implica una fuerza todavía mayor en las relaciones de las que supone el correo electrónico. La estructura básica de estos sistemas es la lista de contactos, donde organizamos a las personas más relevantes de nuestra red social con quienes queremos (o debemos) estar comunicados de manera permanente. Este grupo comprende herramientas de mensajería por texto (ICQ, MSN, AIM, Y!IM) así como las más recientes de voz y video (Skype, gTalk). 3. La Web Mundial (WWW): Los sitios que componen esta red pertene cen a personas individuales, o bien a organizaciones de éstas. Un análisis de los links entre sitios Web nos podría dar señales interesantes acerca de las re laciones entre las personas o instituciones que los publican. Existen sitios dedicados a organizar vínculos entre personas relaciona das a determinados temas. Por ejemplo, el portal de Yahoo! ha sido desde sus primeros días un hub de conexión hacia diferentes puntos de la WWW. 4. Comunidades Enlínea: Algunos Sitios Web permiten crear un perfil personal e ir agregando una lista de contactos para participar con ellos en di ferentes formas. Linkedin es un sitio de conexiones profesionales que permite generar recomendaciones laborales de gran credibilidad. Econozco 117
- 126. Capítulo 9 Redes Sociales es una aplicación similar en Español. Orkut permite organizar redes de con tactos y grupos para la participación en foros. Fotolog permite a millones de personas en el mundo publicar sus fotografías y seguir las fotos de sus ami gos. 4.1 Facebook: Es una comunidad online cerrada, donde los perfiles pueden editarse para ser visibles sólo a tus amigos. Se presenta como una plataforma sobre la que se pueden montar aplicaciones para que las perso nas se comuniquen en variados formatos. Facebook goza de gran popularidad y crecimiento, y ha tenido una importante penetración en Chile a partir de fines de 2007. Facebook permite, a través de la opción ver amigos comunes, explorar el fenómeno del mundo pequeño en tus redes sociales. Ver Cap. 2. 5. Blogs: Estas bitácoras personales cuentan con diferentes tipos de co nexión hacia otras personas. Un blog cita a otro como fuente de información, puede opinar acerca de lo que otro ha publicado, y muchos blogs muestran explícitamente una lista de sus blogs relacionados o amigos. Son tres formas de describir relaciones entre los blogs que revelan y crean redes sociales [5]. El análisis de estos links y su frecuencia dará cuenta de la red social entre sus autores. 5.1 La coctelera: Es un sistema de blogs con sede en España que cuenta con varias de las herramientas para fomentar la interacción de los usuarios, lo que la transforman en un buen ejemplo de red social. En el perfil de usuario de La Coctelera (figura 9.2) podemos ver una va riedad de elementos: Reseña del autor: permite incluir tu nombre, ubicación (ciudad y país), una fotografía y una pequeña descripción. Esta reseña permitirá a los nuevos visitantes conocer la información básica del autor. 118
- 128. Capítulo 9 Redes Sociales 120 Figura 9.2: Ejemplo de Perfil de Usuario de La Coctelera
- 130. Capítulo 9 Redes Sociales comunes para generar de esta manera las recomendaciones personalizadas. Mientras mayor sea el historial de tu perfil, mayor será la precisión de las re comendaciones. Ver Cap. 10. 8. Redes P2P: Peertopeer (inglés) significa conexión entre pares. Estas redes son descentralizadas, no cuentan con un servidor central en su distri bución, sino con un conjunto de nodos de igual relevancia [4]. En la práctica las redes P2P se presentan en diferentes formas: unas son puramente distri buidas y otras se apoyan en servidores centrales para realizar sus funciones. El uso más popular de las redes P2P ha sido el intercambio de música y videos entre personas particulares. Estos intercambios de música y películas muchas veces implica la violación a derechos de autor de dicho material, lo que ha significado problemas legales para las los creadores del software que han diseñado estas redes. Actualmente, las redes P2P han encontrado la for ma de desligarse de la responsabilidad legal por tales violaciones. Algunos ejemplos populares de estas redes son: Napster, Kazaa, Gnutella, BitTorrent. Sitios y Aplicaciones Mencionados • AIM (http://www.aim.com/http://www.aim.com/) • Amazon (http://www.amazon.com/http://www.amazon.com/) tienda gigante de co mercio electrónico, la que comenzó como una librería pronto se transformó en la tienda más grande del mundo. Actualmente vende toda clase de productos. • BitTorrent (http://www.bittorrent.com/http://www.bittorrent.com/) es un protocolo P2P para el intercambio de archivos. 122
- 131. Capítulo 9 Redes Sociales • Del.icio.us (http://del.icio.us/http://del.icio.us/) sistema de bookmarks (o favo ritos) sociales que utiliza clasificación social mediante tags. • Econozco (http://www.xing.com/econozcohttp://www.xing.com/econozco) es una red social laboral en castellano, que ahora es parte de Xing, una red social labo ral internacional. • Facebook (http://www.facebook.com/http://www.facebook.com/) comunidad online con múltiples formatos de comunicación, permite el desarrollo de aplica ciones que se montan sobre ésta. • Flickr (http://www.flickr.com/http://www.flickr.com/) un fotolog con múltiples he rramientas de interacción social. Actualmente es propiedad de Yahoo!. • Fotolog (http://www.fotolog.com/http://www.fotolog.com/) aplicación social de fotos, muy popular en Chile. • gTalk (http://www.google.com/talk/http://www.google.com/talk/) mensajería instantánea y voz de Google. • Gnutella es una red P2P totalmente distribuida, que permite el intercambio de archivos. • ICQ (http://www.icq.com/http://www.icq.com/) fue uno de los primeros sistemas de mensajería instantánea (IM). • Kazaa (http://www.kazaa.com/http://www.kazaa.com/) es una aplicación P2P semi distribuida que permite el intercambio de música, videos, software y todo tipo de archivos. • La Coctelera (http://www.lacoctelera.com/http://www.lacoctelera.com/) es un sistema de blogs con múltiples herramientas de interacción social. 123
- 132. Capítulo 9 Redes Sociales • Linkedin (http://www.linkedin.com/http://www.linkedin.com/) comunidad social de perfiles laborales. • MSN Messenger (http://im.live.com/Messenger/IM/Home/http://im.live.com/Messenger/IM/Home/) • Napster (http://free.napster.com/http://free.napster.com/) uno de los más populares sistemas P2P. • Orkut (http://www.orkut.com/http://www.orkut.com/) es una comunidad online, propiedad de Google. • Skype (http://www.skype.com/http://www.skype.com/) • Technorati (http://www.technorati.com/http://www.technorati.com/) buscador especiali zado en blogs. • Y!IM (http://messenger.yahoo.com/http://messenger.yahoo.com/) sistema de mensajería instantánea de Yahoo! 124
- 133. Capítulo 9 Redes Sociales Para saber más Tutoriales de redes sociales en castellano, de Steve Borgatti: http://www.analytictech.com/networks/en_castellano.htmhttp://www.analytictech.com/networks/en_castellano.htm Linked: How Everything Is Connected to Everything Else and What It Means, por AlbertLaszlo Barabasi, Plume, 2003 Six Degrees: The Science of a Connected Age, por Duncan J. Watts, W. W. Norton & Company, 2004 The Wisdom of Crowds, por James Surowiecki, Anchor, 2005. Referencias 1. Noor AliHasan y Lada Adamic. Expressing Social Relationships on the Blog through Links and Comments. International Conference on Weblogs and Social Media. Boulder, Colorado. 2007. 2. Diego De Ugarte. Teoría de Redes Sociales. Contextos, 2006. http://www.deugarte.com/wiki/contextos/Teoría_de_redes_socialeshttp://www.deugarte.com/wiki/contextos/Teoría_de_redes_sociales 3. Steven Johnson. Emergence: The Connected Lives of Ants, Brains, Cities, and Software. Scribner, 2002. 4. Mark Levene. An Introduction to Search Engines and Web Navigation. Addison Wesley, 2005. 5. Cameron Marlow. Audience, structure and authority in the weblog community. MIT Media Laboratory, 2004. 6. David Weinberger. Small Pieces Loosely Joined, a unified theory of the web Perseus Books, 2002. 125
- 135. Capítulo 10 Clasificación y Filtrado de Información en la “Web Viva” Carlos Hurtado Larraín Gran parte de la Web corresponde a información estable o que cambia lentamente. Ésta incluye sitios corporativos y personales casi estáticos, cono cimiento “enciclopédico” e información que se revisa poco a través del tiempo. Hay otra Web, llamada “Web viva”, que se refresca minuto a minu to, que está compuesta, principalmente, por sitios de noticias, weblogs y comunidades digitales. Lo que interesa a los usuarios de esta Web es lo no vedoso, lo que apareció en el último día, en las últimas horas, o incluso minutos. Es la Web en la que nadie se baña dos veces en la misma informa ción. El adjetivo “viva” no sólo apela a su dinamismo, sino a que su contenido, videos, fotografías, artículos, etc., es generado por comunidades digitales donde interactúan millones de personas en el mundo: la llamada Web 2.0 [14] con aplicaciones como Flickr, YouTube, Del.icio.us, Facebook, Twitter, etc. y los más de 70 millones de weblogs y variantes como video logs, linklogs y fotologs del planeta. Este espacio de información fue recién tomado en cuenta por los princi pales buscadores de la Web (Google, Yahoo!, MSN) un par de años atrás. En ese entonces, la instantaneidad de la información no era requerimiento aten dido por estos sistemas de búsqueda. Entregar información fresca era en 127
- 136. Capítulo 10 Clasificación y Filtrado de Información en la “Web Viva” cierto modo incompatible con la tarea titánica de los buscadores de recolec tar miles de millones de páginas en costosos recorridos de la Web. Mientras a fines del año 2005, los grandes buscadores sólo actualizaban el contenido de una página cada 10 ó 15 días, surgían buscadores como Technorati, Blo glines y Blogpulse, entre otros, que se posicionaron en la Web viva, conquistando un segmento de usuarios considerable en muy poco tiempo. La dinámica de la Web viva se asemeja más a la forma en que la infor mación viaja desde canales de comunicación en radio y televisión a las personas, que al concepto inicial de la Web como una gran biblioteca digital compartida. Sin embargo, los principios de la Web siguen operando con fuerza: red distribuida, con contenido enlazado (hipertexto), libertad de ge nerar y consumir información, millones de canales y receptores latentes. En este capítulo explicaremos los conceptos que predominan en este nuevo con texto: canales, agregadores de información y sindicación de contenido, entre otros, y mostraremos el problema de filtrar información, una de las principa les tareas para manejar la sobrecarga de información a la que este nuevo escenario nos expone. Sindicación de Contenido La Web viva es un espacio donde la información se disemina en forma automática y a gran velocidad. Aquí es común que una noticia publicada en un sitio local se propague casi en forma instantánea a cientos o miles de si tios en pocas horas y, casi en paralelo, sea recolectada por la mayoría de los buscadores. Esta instantaneidad es sostenida (aparte de la Web misma) por la infraestructura de “sindicación de contenido” de la Web. Sindicar conteni do significa hacer disponible contenido para que otros puedan publicarlo, procesarlo o redistribuirlo. El concepto, mucho más antiguo que la Web mis 128
- 137. Capítulo 10 Clasificación y Filtrado de Información en la “Web Viva” ma, proviene del mundo de los medios de prensa, radio y televisión, donde contenido como fotografías, videos y noticias, entre otros, es diariamente sindicado alrededor del planeta. La sindicación de contenido es un práctica cada día más extendida en la Web: compañías de música sindican información sobre discografía que lue go es publicada por sitios de comercio electrónico; bolsas de comercio sindican información en línea sobre el valor de acciones que es procesada por portales financieros; la mayoría de las comunidades digitales emergen tes están sindicando información con el objeto de llegar cada día a más usuarios. En la Web, la información sindicada es procesable por computadores, es decir, es fácil para un programa computacional sencillo, detectar los atri butos más importantes de un artículo, video, imagen, etc. sindicado. Para que esto sea posible existen formatos que permiten describir la información sindicada. El más antiguo de estos formatos, “RDF Site Summary” (RSS), fue desarrollado por Ramanhatan Guha, mientras trabajaba para Netscape, el año 1999. En poco tiempo, RSS derivó en una colección de formatos que in cluye “Really Simple Syndication”, “RDF Site Summary” y “Rich Site Summary” [2]. En 2003 apareció un nuevo formato alternativo, Atom, apo yado por el consorcio de la Web (W3C) con la finalidad de unificar las propuestas anteriores. En la actualidad, RSS y Atom (en adelante usaremos el término RSS para referirnos a ambos formatos) compiten por establecerse como estándares de facto en la Web. El potencial de estos formatos es enor me, por ejemplo, hoy podemos recolectar RSS sindicado de diversas fuentes, combinarlo y procesarlo para producir nuevo RSS (lo que se denomina “mashup”) que a la vez podemos sindicar para que otros lo recolecten, y así sucesivamente, en una suerte de cadena alimenticia donde la información se 129
- 139. Capítulo 10 Clasificación y Filtrado de Información en la “Web Viva” Filtrado y Clasificación de Información Los canales y agregadores nos permiten acceder a una enorme cantidad de información. Esta es sin duda una buena noticia. Clasificar y filtrar infor mación son dos tareas fundamentales para manejar la sobrecarga de información en este nuevo contexto. Filtrar información es la tarea de dejar pasar parte de ésta y bloquear otra de acuerdo a un objetivo. En algunas situaciones el objetivo es evitar in formación como contenidos no aptos para menores o publicidad no solicitada. Un ejemplo muy popular es el filtrado de correo electrónico no deseado (spam). En otros casos, necesitamos filtrar para descartar informa ción irrelevante que constituye ruido. El filtrado de información también puede tener como objetivo personalizar y ajustar los agregadores de acuerdo a los intereses de un usuario o una comunidad de usuarios. 131 Figura 10.1: Portada de Orbitando [13].
- 140. Capítulo 10 Clasificación y Filtrado de Información en la “Web Viva” Clasificar es una tarea similar. En este caso, debemos decidir una o más categorías, entre un conjunto fijo de éstas, a las que asociamos determinada información, como cuando organizamos los archivos de nuestro computador en carpetas. Es común en la Web que las categorías sean tópicos, que incluso pueden formar estructuras jerárquicas donde los más específicos se conectan con los más generales. En otros casos, las categorías pueden referirse a algu na propiedad de la información como su tipo u origen. Por ejemplo, podríamos necesitar clasificar texto para detectar comentarios positivos y ne gativos. En el extremo derecho de la figura 10.1 se pueden ver las categorías en que un agregador clasifica RSS. Se consideran tópicos como política, ne gocios, tecnología, etc. y tipos de información como weblogs, videos, fotografías, podcasts, etc. Hoy en día, los usuarios comunes de agregadores sólo pueden filtrar manualmente una fracción mínima del flujo de información que pueden re cibir. También es poco práctico pensar en editores que hagan este trabajo, como suele ocurrir en medios de prensa tradicionales. El Open Directory Project [11], una ambiciosa iniciativa de comprometer editores humanos para clasificar la Web, gozó de gran popularidad en sus inicios a fines de los noventa, pero su impacto decreció en los últimos años. Los Primeros Filtros Automáticos A fines de los ochenta, tomó fuerza el desarrollo de programas que fil tran en forma automática. Uno de los primeros de estos sistemas, CONSTRUE, implementado inicialmente para la agencia de noticias Reuters, permitía programar filtros basados a reglas modeladas por expertos. Por ejemplo, la siguiente regla, mencionada con frecuencia en libros del area, determina si un artículo es o no relevante para la categoría “trigo”: 132
- 141. Capítulo 10 Clasificación y Filtrado de Información en la “Web Viva” if ( (trigo and predio) or (trigo and comodity) or (quintal and exportar) or (trigo and tonelada) or (trigo and invierno and not suave)) then clase=relevante else clase=irrelevante El antecedente de la regla (la condición a la izquierda del símbolo “then”) usa operadores lógicos como and, or y not. Cada término de esta con dición es verdadero si el término aparece en el artículo. En el ejemplo, si el artículo satisface el antecedente de la regla, es clasificado como relevante, en caso contrario es clasificado como irrelevante. Algunos experimentos iniciales mostraron que la tasa de error de un fil tro generado por CONSTRUE podía ser menor a 10%. A pesar de estos resultados positivos, por distintos motivos, el método de CONSTRUE se tornó rápidamente impracticable en la mayoría de las aplicaciones donde se utili zó. En primer lugar, el tiempo y costo que toma tener expertos definiendo reglas es alto. Más aún, si lo que se considera relevante cambia, los expertos deben intervenir de nuevo las reglas, y en algunos casos el trabajo debe ha cerse desde cero. La información es en general dinámica y las reglas de un filtro deben evolucionar constantemente. Por ejemplo, el interés de una co munidad a la cual se enfoca un agregador puede estar en constante cambio, o debemos reprogramar el filtro continuamente para incorporar nuevos tér minos. Si bien sistemas como CONSTRUE permiten programar sistemas que fil tran en forma automática, hoy es claro que el problema de fondo es mucho más complejo: requerimos de sistemas que aprendan a filtrar en base a una adaptación continua las necesidades de información de los usuarios. No so lamente es importante automatizar el proceso de filtrado sino también el proceso de construcción y adaptación de un filtro. 133
- 142. Capítulo 10 Clasificación y Filtrado de Información en la “Web Viva” Filtros que Aprenden y se Adaptan Disciplinas como estadística, aprendizaje de máquinas, reconocimiento de patrones y, últimamente, minería de datos [3,4,5] son la base para desa rrollar filtros de información que aprenden y se adaptan en base a la experiencia. Para que este proceso de aprendizaje se lleve a cabo, debemos contar con información ya filtrada, es decir, ejemplos positivos y negativos, denominada datos de entrenamiento, que se pueden generar por expertos o vía feedback de usuarios comunes. Estos datos se usan para entrenar o inducir el filtro. Una forma de pensar en este proceso es que a medida que incluimos más datos en el entrenamiento, el sistema incorpora nuevas reglas, siempre teniendo cuidado de que éstas se puedan generalizar a información más allá de los datos de entrenamiento. La figura 10.2 muestra un ejemplo de un pro ceso de entrenamiento de un modelo para clasificar vinos. En este proceso es muy importante evaluar el desempeño del sistema creado, es decir, medir su capacidad para predecir correctamente las catego rías de nueva información que se presenta. En términos simples, esto se hace separando de los datos de entrenamiento un nuevo conjunto, llamado “da tos de prueba”, que usamos para medir la tasa de error. En general, es importante distinguir distintos tipos de error (falsos positivos y falsos nega tivos). Por ejemplo, en un agregador de contenido para niños es mucho más grave el error de dejar pasar información no apta que muestra violencia o pornografía, que el error de descartar alguna información adecuada. Hoy en día existen cientos de técnicas para desarrollar filtros de infor mación, algunas de las cuales han alcanzado tasas de error menores a un 10% en diversos experimentos. Entre estas están los árboles de decisión, má quinas de soporte vectorial, redes neuronales, redes bayesianas, discriminantes lineales, regresión logística, etc. En la actualidad, estas técni 134
- 143. Capítulo 10 Clasificación y Filtrado de Información en la “Web Viva” 135 Figura 10.2: Construcción mediante aprendizaje de un árbol de decisión para filtrar vinos.
- 144. Capítulo 10 Clasificación y Filtrado de Información en la “Web Viva” cas son usadas con éxito en distintas aplicaciones, no sólo en el contexto de la Web, sino en problemas tan variados como reconocimiento de voz, clasifi cación de imágenes telescópicas en astronomía o evaluación de riesgo financiero. Nuevas ideas y mejoras se desarrollan en la actualidad para bajar las ta sas de error ¿Podremos tener sistemas computacionales con capacidades de aprendizaje y desempeño similar a seres humanos? Para ello necesitamos desarrollar sistemas que emulen capacidades cognitivas humanas como comprensión de lenguaje natural, captura de sentido común y otras formas de procesamiento avanzado para llegar a la semántica de la información. Filtrado Colaborativo Un enfoque radicalmente distinto y de mucha aplicación en la actuali dad, conocido como “filtrado colaborativo” [6], se basa en la idea de que la información relevante para un usuario es también relevante para otros usua rios con preferencias similares. Una comunidad de usuarios puede en conjunto actuar como un gran filtro espontáneo, si combinamos e interpreta mos adecuadamente las acciones de cada uno de sus miembros. El filtrado colaborativo no es más que la sistematización de un método de sentido común que aplicamos a decisiones de la vida diaria. Por ejemplo, si intentamos seleccionar una película para ver en el cine, podríamos prime ro buscar personas con gustos similares a los nuestros, para luego elegir alguna películas preferidas por estas personas. Esta elección, en muchos ca sos, será más acertada que la que haríamos después de conocer información intrínseca de las películas. El método de filtrado colaborativo es útil en espe cial cuando es complejo y costoso analizar la información a procesar, como sucedería si ésta está compuesta por videos, imágenes, audio, etc. 136
- 146. Capítulo 10 Clasificación y Filtrado de Información en la “Web Viva” pueden ser implícitas, como selecciones ("clicks" o compras de productos), o explícitas, como comentarios o notas. Dos casos de aplicaciones muy citadas son el sistema de recomendación de productos de Amazon y Netflix, un sis tema Web recomendador de películas. El método de filtrado colaborativo es la base de las nuevas generaciones de agregadores que permiten portadas de información personalizadas. El Rol de los Tags Otro enfoque colaborativo para clasificar y filtrar se basa en el fenóme no de "etiquetado social" ("social tagging") que es la acción de usuarios de la Web de marcar recursos con "etiquetas" ("tags"), es decir, con términos que confieren semántica a los recursos. Las etiquetas representan entidades como personas, eventos, lugares, conceptos, etc. Gran parte de la informa ción de la Web viva está sujeta a un intenso etiquetado social. Las etiquetas se publican en los archivos RSS asociados a información sindicada y pueden ser vistas como categorías de sistemas de clasificación, llamados folcsonomí as (neologismo que combina la palabra griega “clasificar” con la alemana “pueblo”) que, a diferencia de las taxonomías clásicas, evolucionan con gran dinamismo producto de la creación y desaparición continua de etiquetas. La figura 10.4 muestra “nubes de etiquetas” de Orbitando (izquierda) y Technorati (derecha). Estas estructuras muestran las etiquetas más populares asociadas a una colección de documentos. El tamaño de cada etiqueta en la nube nos dice su peso o popularidad en la colección de documentos. En la actualidad, las nubes de etiquetas son estructuras muy populares. Sin embargo, debido a que las etiquetas se crean libremente, las nubes pue den ser caóticas (como por ejemplo la nube de Technorati que se muestra en la figura 10.4 (derecha)), debido a sobreposición (dos o más etiquetas con 138
- 148. Capítulo 10 Clasificación y Filtrado de Información en la “Web Viva” usuarios. Estos sistemas deben ser capaces de interpretar información como selecciones, votos, transacciones y etiquetas para sacar provecho de la diná mica social y colaborativa de la Web actual. Agradecimientos. Se agradece a Carlos Orrego y José María Hurtado por sus aportes y sugerencias que contribuyeron a mejorar este artículo. Para saber más En el sitio Desarrollo Web hay un tutorial sencillo sobre RSS: http://www.desarrolloweb.com/articulos/2101.phphttp://www.desarrolloweb.com/articulos/2101.php KDNuggets es un sitio dedicado a la minería de datos, descubrimiento de información y minería Web. http://www.kdnuggets.com/http://www.kdnuggets.com/ Referencias 1. Soumen Chakrabarti. Mining the Web Discovering Knowledge from Hypertext Data. MorganKaufmann Publishers, 2002. 2. Ben Hammersley. Content Syndication with RSS. O'Really, 2003. 3. R. Feldman, J. Sanger. The Text Mining Handbook: Advanced Approach in Analyzing Unstructured Data. Cambridge University Press, 2007. 4. D. Hand, H. Mannila, P. Smyth Principles of Data Mining. The MIT Press, 2001. 5. J. Han and M. Kamber. Data Mining Concepts and Techniques. Morgan Kauffman Pubdmoz lishers, 2001. 6. John S. Breese; David Heckerman; Carl Kadie. Empirical Analysis of Predictive Algorithms for Collaborative Filtering Fourteenth Conference on Uncertainty in Artificial Intelligence. Morgan Kaufman, 1998. 7. P. Jackson, I. Moulinier. Natural Language Processing for Online Applications: Text Retrieval, Extraction and Categorization. John Benjamins Publishing Co. 2002. 8. GroupLens Research. Movielens. http://movielens.umn.eduhttp://movielens.umn.edu 9. Nielsen/NetRatings. http://www.netratings.comhttp://www.netratings.com 10. NewsMap. www.marumushi.com/apps/newsmapwww.marumushi.com/apps/newsmap 11. Open Directory Project. www.dmoz.comwww.dmoz.com 140
- 149. Capítulo 10 Clasificación y Filtrado de Información en la “Web Viva” 12. Orbitando. www.orbitando.comwww.orbitando.com 13. Topix. www.topix.netwww.topix.net 14. Tim O'Reilly. What Is Web 2.0. O'Reilly Network. Septiembre, 2005. 15. Fabrizio Sebastiani Machine learning in automated text categorization. ACM Computing Surveys (CSUR) archive Volume 34, Issue 1, March 2002. 141