《searching the web》学习笔记

第一次读搜索引擎方面的文章，读的似懂非懂，先记录下来，以后再细看。

 

 

摘要：
本文简要概括当前搜索引擎的设计。介绍一般的网络搜索引擎结构（architecture）后依次详细介绍搜索引擎每个部分的主要技术，包括crawling, 网页存储（local web page storage），indexing，以及如何利用网页间的链接特性。

第一节：介绍
         面对海量的互联网网页和信息，输入关键词(query)得到希望的结果是互联网用户所需要的，这就需要设计网络搜索引擎。一般的搜索引擎使用信息检索（IR, Information Retrieval）技术，但是他是对应于规模小的，连续（coherent）的集合的搜索技术，对于互联网并不完全适用，为此需要引入新的技术。
         互联网的特点：（1） 海量数据、变化快、规模不断增大；（2）分布存储；（3） 网页间有超链接（蝴蝶结结构） 
Crawlers的主要任务是从初始网页集出发遍历全部的网页（理论上的全部），直到资源耗尽。Crawl时根据访问更多的站点，或者是访问特定的站点等目标而有不同的策略。

Indexer 的主要任务是抽取每个页面的全部字（word），并记录字出现的URL和在页面中的位置，还需要根据文档、结构、功能等创建不同的索引（index）。

Query Engine 的主要任务是接收和补全用户的查询（query），它依赖于index和repository。

 
第二节：Crawling web pages 网页爬虫
2.1. Page selection
 What is importance of page?   Interest Driven / Popularity Driven / Location Driven

 How a crawler operates?    Crawl & Stop / Crawl & Stop with threshold

 How a crawler guesses good
pages to visit? (choose the next URLs to visit)   Reference to 1.1.

2.2. Page refresh (如何更新页面)
         Uniform
refresh policy > Proportional refresh policy
         Should
consider freshness and age
Fresh strategy: 向下的抛物线模型

Open issues: crawlers与网站交互 & 并行crawl &
crawl如何获取需要填表单或取得数据

 
第三节：storage
3.1. Challenges: 需要考虑的因素
 Scalability： 考虑大信息量

 Dual access mode: Random access
for end-user, Streaming access for indexer and analysis modules.

 Large bulk updates: 顾名思义

 Obsolete pages: How to detect
and remove obsolete pages.

3.2. Design a distributed web repository: 需要考虑节点的结构，节点间的通信，及更新方式
 Page distribution policy:
uniform/hash

 Physical page organization
methods

 Update strategy: (Batch mode +
shadowing)/ (steady mode + in place)

3.3. Open issues:
 Indexer不仅仅通过网址，也考虑含的图片、视频等信息

 Streaming order

 
第四节：indexing
         Indexing: link index | text index | utility
index | etc.
4.1. Structure of an inverted index
         The
inverted list for a term is a sorted list of locations where the term appears
in the collections, in which location means page identifier + position +
payload field(occurrences+).
4.2. Challenges
         Web
scale: 创建和重建过程需要用的资源和时间
         存储结构与结果表现的平衡.
4.3. Index partitioning
         Local
inverted file: 每个节点分管一部分互不相交的pages
         Global
inverted file: 每个节点分管一部分terms
4.4. WebBase Text-indexing system
         Distributors
+ indexers + query servers
         两种技巧减少系统开销:
         Avoid
explicit I/O for statistics: local to statisticians in memory
         Local
aggregation: aggregation in nodes à
statisticians
 
第五节: Ranking and Link Analysis
         网页搜索和普通文本搜索的区别： 网页搜索数据量大、 网页间关联。本节中介绍如何利用网页间关系给出更准确的搜索结果。
5.1. PageRank
         Citation
ranking: 被指向的次数（越多说明越重要）
         PageRank:
在citation rank的基础上还要考虑指向该页面的页面本身的重要程度（递归）。求解rank可以归结为求一个矩阵的特征值1的特征向量，也可以迭代求解。
         上面的PageRank是以全部pages组成强连通图为前提的，在海量的pages中这个条件常常不满足，如可能会出现等级沉没（rank sink）和等级泄露（rank leak）发生，此时迭代式要做相应的变化。
         实践中需要解决的问题：迭代要收敛 & 收敛要快。（排序结果会更早的出现）
5.2. HITS 
(Hypertext Induced Topic Search)
         计算每个页面的全局等级（global
rank）,根据查询内容出的等级（query dependent ranking techinique），等级包含authority + hub
score.
         Authority表述的是与query相关的程度的page，而hub score可能指向更多authorities的page。交互迭代的过程。
         求authority和hub score可以归结为求一个矩阵和其转置矩阵的特征向量问题，也可以用迭代法。
5.3. Others
         Identifying
communities + Finding related pages + Classification and Resource Compilation
5.4. Future Directions
 如何利用其他信息，如查询记录，浏览记录等；

 开发更健全的文档分析技术，并利用到web中这些有链接的文档查询中

 
第六节：总结
         根据用户的极少的搜索关键词，从海量的网页中，快速准确地返回查询结果。
         执行步骤：Crawlers分析网页，Query
Engine返回相关网页，Ranking Module对返回结果排序。
 
 
名词解释：

1.      
Crawls：爬虫跟踪pages，返回URLs，并把跟踪到的pages发送到page
repository，直到资源耗尽。
有些爬虫可能是访问尽可能多的sites，而不去考虑隐藏很深的pages
有些爬虫可能是集中访问同一个域中的pages，如government
2.      
Crawl control model：确定哪些URLs继续跟踪，哪些可以忽略。
3.      
Indexer model: 抓取页面中所有文字，并记录每个文字出现的页面，形成lookup table.
还要生成结构索引。
数据量&变化速度&页面的相关links
4.      
Collection analysis module
5.      
Utility index: 有collection
analysis module 创建，可以由网页包含的图片个数、宽度这些信息检索pages
6.      
Query engine：接受和补全用户的query
7.      
inverse document
frequency(IDF):逆向文件频率，是词语i普遍重要性的度量。某一特定词语的IDF，可以由文件总数除以包含该词语的文件数目，再将得到的商取对数得到。
term frequency(TF): 词频，指一个词语i在文件j中出现的次数。通常被正规化，以防止它偏向长的文件。
IS(P)[ij]: TF[ij]*IDF[i]， Interest Driven
参考 http://hi.baidu.com/sowhatliu/blog/item/aa0a8817d701b70fc93d6db6.html
8.      
Backlink count: 导入链接数，指向该链接的hyperlink数。
IB(P):
Popularity Driven
IL(P): Location
Driven
 
 
 

翻译：
Information Retrieval (IR):信息检索
Coherent： 一致的
Scalable: 可扩展的
Updateable: 可更新的
Discriminating ability: 辨别能力
Poisson process: 泊松过程，一个累积随机事件发生次数的最基本的独立增量过程。
Bow-tie: 蝴蝶结
and vice versa: 反之亦然
schematically: 大致、示意地、粗略地
crawler:爬虫
grist：谷物、有利的武器
retrieve: 检索
repository: 仓库，资源库
coverage: 误差
bias： 误差
be biased to: 偏重于
leave out: 忽略
lookup table: 查找表
pose a difficulty: 构成难题
less common： 更鲜为人知的
scenario: 方案
hierarchy: 层次结构
bibliometrics: 文献计量学
threshold: 阀值，界点
up-to-date:最新的          
obsolete: 陈旧的、过时的
analogous: 相似的
fluctuation: 波动
periodically: 周期性地
scenario: 情景
ad hoc: 特设、为此
scalability: 可测量的
dual: 双重的
bulk: 大容量
advantageous：有好处的
batch-mode: 批处理方式
on the downside: 从不利的方法讲
space compaction:
checksum: 校验和
cyclic redundancy check: 循环冗余度校验
give rise to: 导致、形成
adjacency: 邻接物
retrieve: 检索
accommodate: 适应
lexicon：字典
resilience：恢复力
tradeoff：折中、权衡
facilitate: 协助、促进
disseminate: 扩散、传播
mutually: 互相地
replication: 重复实验、重现
throughput：吞吐量
concurrently：并发地
overhead: 系统开销
adverse: 敌对的，相反的
spamming: 非所要信息,垃圾邮件        /
aperiodic: 非规则的
rank sink: 等级沉没
rank leak: 等级泄露
decay: 衰减
dictate: 规定
gravitate: 倾向于
scarecely: 几乎不
exotic: 奇异的
mundane:平凡的
baipartite: 双向的
trawl:拖网
co-citation:共被引
hustle: 急速活动
heuristic: 启发式的,试探性的.