Web graph and Page rank

Đại học Bách Khoa Hà Nội
Viện Toán ứng dụng và Tin học

Seminar Tin ứng dụng
Web graph and Page rank

Bùi Đức Hiệu
Phạm Anh Tuấn
Nguyễn Văn Vũ

Giới thiệu

Ảnh chụp của đồ thị Internet
(Nguồn: Wikipedia)
Seminar 2012

Nội dung

Giới thiệu

Đồ thị Web

Thuật toán PageRank

Cải tiến thuật toán PageRank

Thuật toán HITS

Cài đặt các thuật toán

Seminar 2012

Giới thiệu

 Trong 2 thập kỷ qua, mạng internet phát triển rất mạnh mẽ.
Trang web đầu tiên trên thế giới là info.cern.ch (Tim Berners-
Lee), đến năm 2008 chúng ta đã có 162 triệu trang web

Seminar 2012

Giới thiệu

Seminar 2012

Giới thiệu

Vấn đề đặt ra:
làm sao để khai thác
tối đa những thông
tin mà người sử
dụng cần ???

Giải pháp:
Tạo sự liên kết giữa các trang web với nhau

Seminar 2012

Đồ thị

Đồ thị: là một tập các đối tượng gọi là đỉnh nối với nhau bởi
các cạnh.

Seminar 2012

Đồ thị

Một số khái niệm liên quan đến đồ thị:
 Đồ thị vô hướng

Seminar 2012

Đồ thị

 Đồ thị có hướng

Seminar 2012

Ma trận



1
A B C D A B
A 0 1 2 3 3
2 6
B 0
C 0 3 C 3 D
D 0

Seminar 2012

Ma trận



Seminar 2012

Đồ thị web

Định nghĩa

Các tính chất của đồ thị web

Cấu trúc vi mô

Luật tăng trưởng

Mô hình

Seminar 2012

Đồ thị web

Định nghĩa:
Các trang web ngoài các đặc trưng về sự hiển thị trên trình
duyệt qua ngôn ngữ HTML, CSS mà chúng còn có sự liên kết,
kết nối đến nhau. Chính những liên kết này tạo nên đồ thị web.

Seminar 2012

Đồ thị web

Seminar 2012

Đồ thị web

Đồ thị và ma trận biểu diễn sự liên kết giữa các trang

1 2 3 4
1 1
2 0 0 0
3 0
4 0 0
Seminar 2012

Đồ thị web

Tính chất của đồ thị web
 Các trang web được xem như là các nút của đồ thị
 Các siêu liên kết được xem như là các cạnh của đồ thị

Nút

Cạnh

Seminar 2012

Đồ thị web

Các thuật toán phân hạng web hiện nay:
 PageRank

 Topic Sensitive PageRank

 Adaptive PageRank

 Timed PageRank

 HITS

Seminar 2012

Cấu trúc đồ thị web

Có 4 thành phần:
 SCC(strongly connected component)

 IN

 OUT

 TENDRILS

Seminar 2012

Cấu trúc đồ thị web

Seminar 2012

Ý nghĩa của đồ thị web

Liên kết được nhiều trang web với nhau

Mạng lưới của những liên kết này là nguồn phong
phú của các thông tin tiềm ẩn.

Seminar 2012

Luật tăng trưởng



Seminar 2012

Mô hình trong đồ thị web

Các thuộc tính trong mô hình đồ thị web
 On-line property

 Power law degree distribution

 Small world property

Seminar 2012

Mô hình đồ thị web



Seminar 2012

Mô hình trong đồ thị web

Một số mô hình trong đồ thị web:
 Mô hình tập tin đính kèm ưu đãi ( preferential attachment
models)
 Mô hình LCD PA (The LCD PA model)
 Mô hình sao chép (The copying model)
 Mô hình growth-deletion ( growth – deletion models)
 Mô hình hình học (geometric model)
 Mô hình off – line (off – line model)

Seminar 2012

Thuật toán PageRank

Vấn đề:

Seminar 2012


Vấn đề
 Số lượng lớn
 Thay đổi liên tục
 Thông tin rác
 Độ phân tán
CẦN MỘT PHƯƠNG PHÁP
KHAI THÁC THÔNG TIN

Seminar 2012


Nhanh

CẦN GÌ Dễ dàng cài đặt

Chính xác

Seminar 2012


Tổng quan

Seminar 2012


Kết quả thừa nhận

Trang A được trỏ bởi càng
nhiều link thì càng quan
trọng.

“A => B thì độ quan trọng
của trang A cũng ảnh
hưởng đến độ quan trọng
của trang B”.
Seminar 2012


Ý tưởng.
 Sử dụng:

Seminar 2012


Xây dựng mô hình bài toán.
 Xây dựng đồ thị có hướng G=(V,E):
• V={Vi : Vi đại diện cho 1 web, i = 1..n }
• E={(i,j): có liên kết từ i tới j; i,j=1..n}

 Mọi tính toán hạng trang thực hiện trên đồ thị
này.

Seminar 2012


Seminar 2012


Thuật toán
 Đầu vào:
• Đồ thị web.
• Các trang web đã có page rank mặc định
 Đầu ra:
• Các trang được xếp hạng theo page rank thực

Seminar 2012




Seminar 2012


Vấn đề:
 Số lượng thông tin rất lớn.

Cần phương pháp để tính toán

Giải quyết:
 Thử đưa về mô hình toán học, áp dụng các
thuật toán tính toán nhanh

Seminar 2012


Thuật toán – Cải tiến
 Vì sao phải cải tiến?
 Liệu có trang web nào có page rank bằng 0?

Seminar 2012


Lưu ý.
 Thuật toán sử dụng lặp để tính toán liên tiếp, tác
giả đã khẳng định sau khoảng 50 vòng lặp sẽ nhận
kết quả với sai số chấp nhận được
Đánh giá.

Seminar 2012

Topic Sensitive PageRank

Seminar 2012

Topic Sensitive PageRank


Seminar 2012

Adaptive PageRank

Seminar 2012

Adaptive PageRank

Sepandar D. Kamvar và cộng sự, 2003
Tận dụng những trang hội tụ sớm và kết quả độ quan
trọng của các trang đã hội tụ có thể không cần tính
tiếp

Seminar 2012

Timed PageRank

Seminar 2012

Timed PageRank



Seminar 2012

HITS

 HITS - Hypertext Induced Topic Selection
 Jon M. Kleinberg đề xuất, 1998 - 1999
 Không giống như PageRank - một thuật toán xếp hạng tĩnh,
HITS phụ thuộc vào truy vấn tìm kiếm.

Seminar 2012

Authority

Authority pages: là những trang được xem là phù hợp
nhất đối với mỗi câu truy vấn cụ thể nào đó.

Auth

Seminar 2012

Hub

Hub pages: là những trang không cần có đặc tính
“authority” nhưng lại trỏ tới nhiều trang có đặc tính
“authority”.

Hub

Seminar 2012

Hub và Authority

Seminar 2012

Ý tưởng của HITS

Trang có hub tốt là trang có nhiều liên kết ra.

Trang có authority tốt là trang có nhiều liên kết tới.

Trang trỏ tới trang có authority cao thì trọng số hub
càng cao, trang nào được nhiều trang có hub cao trỏ
tới thì trọng số authority càng cao.

Seminar 2012

HITS - 1

Xác định tập hợp cơ sở S
Cho phép thiết lập các dữ liệu trả về bởi một công cụ
tìm kiếm tiêu chuẩn được gọi là các root set (thiết lập
gốc) R
Khởi tạo S cho R

Seminar 2012

HITS - 2



Seminar 2012

HITS - 3



Seminar 2012

HITS - 4



Seminar 2012

HITS - 5



Seminar 2012

Giả mã của HITS



Seminar 2012

Ví dụ

 Root Set R {1,2,3,4}
 Mở rộng nó để tạo thành Base Set S

Seminar 2012

Kết quả của ví dụ

Authority
Hub

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

Seminar 2012

PageRank - HITS

HITS nhấn mạnh tăng cường lẫn nhau giữa các trang
authority và hub, trong khi PageRank thì không.
PageRank xếp hạng trang chỉ bởi các trang authority.
HITS được áp dụng cho các vùng lân cận của các
trang xung quanh kết quả của một truy vấn trong khi
PageRank được áp dụng cho toàn bộ trang web
HITS là truy vấn phụ thuộc nhưng PageRank là truy
vấn độc lập

Seminar 2012

PageRank - HITS

Cả HITS và PageRank đều tính toán trên ma trận.
Đều không ổn định: thay đổi một số liên kết có thể
dẫn đến bảng xếp hạng khác nhau.
PageRank không quản lý các trang không có cạnh
ngoài rất tốt, vì nó giảm PageRank tổng thể

Seminar 2012

Kết luận

Khai phá dữ liệu Web(Web mining) có ý nghĩa quan
trọng trong cuộc sống và công nghệ.
 PageRank hay HITS là các thuật toán cơ bản để xây
dựng các Search Engine.
Tuy nhiên, các search engine nổi tiếng như Google,
Yahoo hay Bing đều có những cải tiến và các thuật
toán khác không được công bố!

Seminar 2012

Nội dung

 Giới thiệu

 Đồ thị Web

 Thuật toán PageRank

 Cải tiến thuật toán PageRank

 Thuật toán HITS

 Cài đặt các thuật toán

Seminar 2012

Web graph and Page rank

More Related Content

What's hot (20)

Similar to Web graph and Page rank (20)

Recently uploaded (7)

Web graph and Page rank

Editor's Notes