搜索引擎学习资源收集
2010-08-16 15:55
453 查看
<!--
/* Font Definitions */
@font-face
{font-family:宋体;
panose-1:2 1 6 0 3 1 1 1 1 1;
mso-font-alt:SimSun;
mso-font-charset:134;
mso-generic-font-family:auto;
mso-font-pitch:variable;
mso-font-signature:3 135135232 16 0 262145 0;}
@font-face
{font-family:"/@宋体";
panose-1:2 1 6 0 3 1 1 1 1 1;
mso-font-charset:134;
mso-generic-font-family:auto;
mso-font-pitch:variable;
mso-font-signature:3 135135232 16 0 262145 0;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
{mso-style-parent:"";
margin:0cm;
margin-bottom:.0001pt;
text-align:justify;
text-justify:inter-ideograph;
mso-pagination:none;
font-size:10.5pt;
mso-bidi-font-size:12.0pt;
font-family:"Times New Roman";
mso-fareast-font-family:宋体;
mso-font-kerning:1.0pt;}
a:link, span.MsoHyperlink
{color:blue;
text-decoration:underline;
text-underline:single;}
a:visited, span.MsoHyperlinkFollowed
{color:purple;
text-decoration:underline;
text-underline:single;}
/* Page Definitions */
@page
{mso-page-border-surround-header:no;
mso-page-border-surround-footer:no;}
@page Section1
{size:595.3pt 841.9pt;
margin:72.0pt 90.0pt 72.0pt 90.0pt;
mso-header-margin:42.55pt;
mso-footer-margin:49.6pt;
mso-paper-source:0;
layout-grid:15.6pt;}
div.Section1
{page:Section1;}
-->
3ks: http://blog.csdn.net/tanruitian/archive/2006/07/18/933903.aspx
一、搜索引擎技术
/
动态资源
<
一
>
、综合类
1
、
卢亮的搜索引擎研究
http://www.wespoke.com/
卢亮属于搜索引擎开发上的专家，以前开发过一个搜索引擎
"
博索
"(
http://booso.com/
),
好像现在已经停止开发了，目前他服务于博客网。在他的这个
blog
上可以了解许多搜索引擎开发的技术和经验，值得持续关注。
2
、
laolu'blog
有不少来自国外的关于搜索引擎方面的资料，偏重于资料和数字
3
、
哈斯日志
http://www.loverty.org/
在这里可以看到国内外几大搜索引擎的最新动态，值得关注搜索发展形势的人多看看
4
、
北京奕天锐新科技有限公司
http://www.21cnbj.com/
搜索引擎、
SEO
、
SEM
等行业新闻动态
5
、
中文搜索引擎指南网
http://www.sowang.com/
搜索引擎最新动态，各种搜索技巧、方法
6
、
中文全文检索网
http://www.fullsearcher.com/
FullSearcher.Com
是有两个对搜索爱好的年轻人创办，我们的目标是让中文互联网全面进入搜索时代，让搜索无处不在。通过搜索改变人们的生活。
FullSearcher
提供全文检索的相关知识、垂直搜索引擎知识、搜索的相关新闻等搜索相关内容。
<
二
>
、
Google
动态
Google
官方博客：
Google
黑板报
http://googlechinablog.com/
Google
中国的博客网志，走近我们的产品、技术和文化
1
、
Gfans
http://gfans.org/
一群
Google
的粉丝
这里没有
PageRank
，没有
HillTop
，没有
SEO
。如果
Google
是龙井，我希望这里便是虎跑，去化开那馥郁如兰之香。观于沧海者难为水，搜于
Google
者难为言，
Google
已不只是文化，他是我的信仰。
本站文章约法三章：
不讨论
SEO
及相关；
不得无聊转载；
严禁侮辱百度。
2
、幻灭的麦克风
www.kenwong.cn
Google
天地
3
、
google
观察
http://blog.donews.com/googleview/
<
二
>
、其他搜索引擎动态
1
、雅虎搜索日志
http://ysearchblog.cn/
记录雅虎搜索引擎的动态、产品、技术等
二、搜索引擎代码资源
一
>
、搜索引擎
/
网络蜘蛛程序代码
国外开发的相关程序
1
、
Nutch
官方网站
http://www.nutch.org/
中文站点
http://www.nutchchina.com/
最新版本：
Nutch
0.7.2 Released
Nutch
是一个开源
Java
实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具，可以建立自己内部网的搜索引擎，也可以针对整个网络建立搜索引擎。自由
(Free)
而免费
(Free)
。
2
、
Lucene
官方网站
http://lucene.apache.org
中文站点
http://www.lucene.com.cn/
Lucene
是
apache
软件基金会
jakarta
项目组的一个子项目，是一个开放源代码的全文检索引擎工具包
[
用
Java
写的
]
，即它不是一个完整的全文检索引擎，而是一个全文检索引擎的
架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎（英文与德文两种西方语言）。
Lucene
的目的是为软件开发人员提供一个简单易用的工具包，以
方便的在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎。
3
、
Larbin:
http://larbin.sourceforge.net/index-eng.html
larbin
是一种开源的网络爬虫
/
网络蜘蛛，由法国的年轻人
Sébastien Ailleret
独立开发。
larbin
目的是能够跟踪页面的
url
进行扩展的抓取，最后为搜索引擎提供广泛的数据来源。
国内开发的相关程序
1
、
SQLET -
开放源码的中文搜索引擎
官方网站
http://www.sqlet.com/
SQLET
，是
Search & Query &Link,
加后缀
let
，表示小的，小型的意思
.
打算建立一个能搜上亿张网页的基于主题功能的中文搜索引擎
.
支持
3
种索引方
式：
MySql_table_Index
，
Lucene_Index
，
SQLET_Index.
网页抓取可以保存在文件系统及数据库里。自带
WebServer.
2
、菲度垂直搜索引擎代码
菲度
http://www.faydu.net
为一个垂直在线搜索的演示版，主要对国内一些购物站点进行搜索整理，
现在开源测试版本的代码，供大家讨论。下载说明：
1
》因为本程序是在服务器上运行，是在多个处理器下运行的，个人电脑上请控制线程数量
2
》包含一个
data
的数据库
还原到
sql server
3
》收集完毕默认在
bin
目录有
licene
生成的反排的索引文件
4
》下载地址：
http://www.faydu.net/download/code.rar
开放日期：
2006-4-18
来源
:http://blog.csdn.net/faydu/archive/2006/04/18/667997.aspx
语言：
VB.net(c#)
二
>
、中文分词程序代码
1
、计算所汉语词法分析系统
ICTCLAS
中国科学院计算技术研究所在多年研究基础上，耗时一年研制出了基于多层隐马模型的汉语词法分析系统
ICTCLAS(Institute of Computing Technology, Chinese Lexical Analysis
System)
，该系统的功能有：中文分词；词性标注；未登录词识别。分词正确率高达
97.58%(
最近的
973
专家组评测结果
)
，基于角色标注的未登录
词识别能取得高于
90%
召回率，其中中国人名的识别召回率接近
98%
，分词和词性标注处理速度为
31.5KB/s
。
ICTCLAS
和计算所其他
14
项免费发布的成果被中外媒体广泛地报道，国内很多免费的中文分词模块都或多或少的参考过
ICTCLAS
的代码。
下载页面：
http://www.nlp.org.cn/project/project.php?proj_id=6
由于
ICTCLAS
是由
C
语言写成的，现在主流的开发工具用起来不太方便，于是有一些热心的程序员把
ICTCLAS
改为
Java
和
C#
等其他语言。
（
1
）
fenci
，
Java
的
ICTCLAS
，下载页面：
http://www.xml.org.cn/printpage.asp?BoardID=2&id=11502
（
2
）
AutoSplit
，另一个
Java
的
ICTCLAS
，已经找不到下载页面，点击本地下载
（
3
）小叮咚中文分词，曾经有下载页面，现在找不到了。据作者介绍，从
ICTCLAS
中改进，有
Java
，
C#
和
C++
三个版本，介绍页面：
http://www.donews.net/accesine
2
、海量智能分词研究版
海量智能计算技术研究中心为了使中文信息处理领域的研究者们能够共同分享海量智能中心的研究成果，共同提高中文信息处理水平，特此发布《海量智能分词研究版》，供专家、学者和爱好者进行研究。
下载页面：
http://www.hylanda.com/cgi-bin/download/download.asp?id=8
3
、其他
（
1
）
CSW
中文智能分词组件
运行环境：
Windows
NT
、
2000
、
XP
或更高，可以在
ASP
，
VB
等微软的开发语言中调用。
简介
: CSW
中文智能分词
DLL
组件，可将一段文本自动的按常规汉语词组进行拆分
,
并以指定方式进行分隔，且可对其拆分后的词组进行语义、词频标注。其广范应用于各行各业的信息资料检索、分析。
下载页面：
http://www.vgoogle.net/
（
2
）
C#
写的中文分词组件
据作者介绍，一个
DLL
文件，可以做中英文分词组件。完全
C#
托管代码编写，独立开发。
下载页面：
http://www.rainsts.net/article.asp?id=48
三
>
、开源
spider
一览
spider
是搜索引擎的必须模块
.spider
数据的结果直接影响到搜索引擎的评价指标
.
第一个
spider
程序由
MIT
的
Matthew K Gray
操刀该程序的目的是为了统计互联网中主机的数目
Spier
定义
(
关于
Spider
的定义
,
有广义和狭义两种
).
狭义
:
利用标准的
http
协议根据超链和
web
文档检索的方法遍历万维网信息空间的软件程序
.
广义
:
所有能利用
http
协议检索
web
文档的软件都称之为
spider.
其中
Protocol
Gives Sites Way To Keep Out The 'Bots Jeremy Carl, Web Week, Volume 1, Issue 7,
November 1995
是和
spider
息息相关的协议
,
大家有兴趣参考
robotstxt.org
.
Heritrix
Heritrix is the Internet Archive's
open-source, extensible, web-scale, archival-quality web crawler project.
Heritrix (sometimes spelled heretrix, or
misspelled or missaid as heratrix/heritix/ heretix/heratix) is an archaic word
for heiress (woman who inherits). Since our crawler seeks to collect and
preserve the digital artifacts of our culture for the benefit of future
researchers and generations, this name seemed apt.
语言
:JAVA, (下载地址
)
WebLech URL Spider
WebLech is a fully featured web site
download/mirror tool in Java, which supports many features required to download
websites and emulate standard web-browser behaviour as much as possible.
WebLech is multithreaded and comes with a GUI console.
语言
:JAVA, (下载地址
)
JSpider
A Java implementation of a flexible and
extensible web spider engine. Optional modules allow functionality to be added
(searching dead links, testing the performance and scalability of a site,
creating a sitemap, etc ..
语言
:JAVA, (下载地址
)
WebSPHINX
WebSPHINX is a web crawler (robot, spider)
Java class library, originally developed by Robert Miller of Carnegie Mellon
University. Multithreaded, tollerant HTML parsing, URL filtering and page
classification, pattern matching, mirroring, and more.
语言
:JAVA, (下载地址
)
PySolitaire
PySolitaire is a fork of PySol Solitaire
that runs correctly on Windows and has a nice clean installer. PySolitaire
(Python Solitaire) is a collection of more than 300 solitaire and Mahjongg
games like Klondike and Spider.
语言
:Python , (下载地址
)
The Spider Web Network Xoops Mod Team
The Spider Web Network Xoops Module Team
provides modules for the Xoops community written in the PHP coding language. We
develop mods and or take existing php script and port it into the Xoops format.
High quality mods is our goal.
语言
:php , (下载地址
)
Fetchgals
A multi-threaded web spider that finds free
porn thumbnail galleries by visiting a list of known TGPs (Thumbnail Gallery
Posts). It optionally downloads the located pictures and movies. TGP list is
included. Public domain perl script running on Linux.
语言
:perl , (下载地址
)
Where Spider
The purpose of the Where Spider software is
to provide a database system for storing URL addresses. The software is used
for both ripping links and browsing them offline. The software uses a pure XML
database which is easy to export and import.
语言
:XML , (下载地址
)
Sperowider Website Archiving Suite is a set
of Java applications, the primary purpose of which is to spider dynamic
websites, and to create static distributable archives with a full text search
index usable by an associated Java applet.
语言
:Java , (下载地址
)
SpiderPy is a web crawling spider program
written in Python that allows users to collect files and search web sites
through a configurable interface.
语言
:Python , (下载地址
)
Spider is a complete standalone Java
application designed to easily integrate varied datasources. * XML driven
framework * Scheduled pulling * Highly extensible * Provides hooks for custom
post-processing and configuration
语言
:Java , (下载地址
)
WebLoupe is a java-based tool for analysis,
interactive visualization (sitemap), and exploration of the information
architecture and specific properties of local or publicly accessible websites.
Based on web spider (or web crawler) technology.
语言
:java , (下载地址
)
ASpider
Robust featureful multi-threaded CLI web
spider using apache commons httpclient v3.0 written in java. ASpider downloads
any files matching your given mime-types from a website. Tries to reg.exp.
match emails by default, logging all results using log4j.
语言
:java , (下载地址
)
larbin
Larbin is an HTTP Web crawler with an easy
interface that runs under Linux. It can fetch more than 5 million pages a day
on a standard PC (with a good network).
语言
:C++, (下载地址
)
webloupeSpidered Data
RetrievalSpiderPySperowider
zhihere
不断更新中
...
三、
SEO
相关资源
1
、域名信息查询
★
查询国际顶级域名的信息
(.aero, .arpa, .biz,
.com, .coop, .edu, .info, .int, .museum, .net, .org)
，可以通过
ICANN
授权的域名注册商来查询，也可以直接到
INTERNIC
网站查询，网址是
http://www.internic.com/whois.html
http://www.iwhois.com/
★
查询全球各个地理顶级域名是否已经被注册可以到下列网址查询（其中也包括国内域名
.cn
）：
http://www.uwhois.com/cgi/domains.cgi?User=NoAds
★
查询国内域名的注册情况，
http://ewhois.cnnic.net.cn/index.jsp
★
万网的域名注册信息查询
http://www.net.cn/
★
IP
地址查询、域名注册信息
Whois
查询
http://ip.zahuopu.com/
2
、
alexa
相关与搜索排行榜
★
中文排名
500
强
http://www.alexa.com/site/ds/top_sites?ts_mode=lang&lang=zh_gb2312
★
Google
Zeitgeist--Google
搜索排行榜
http://www.google.com/press/intl-zeitgeist.html#cn
★
百度中文搜索风云榜
http://top.baidu.com/
★
雅虎搜索排行榜
http://misc.yahoo.com.cn/top_index.html
★
搜狗搜索指数
http://www.sogou.com/top/
3
、搜索关键词查询
★
google
关键字查询
https://adwords.google.com/select/KeywordSandbox
★
百度关键字查询
http://www2.baidu.com/inquire/dsquery.php
★
搜狐关键词
http://db.sohu.com/regurl/pv_price/query_consumer.asp
4
、
seo
项目
/
工具
★
网页质量
http://category.booso.com/cgi-bin/category/category.cgi
★
关键词密度
http://www.21ql.com/seo/keyword.asp
★
搜索引擎蜘蛛模拟器
http://www.webconfs.com/search-engine-spider-simulator.php
★
Google Dance
查询工具：
http://www.google-dance-tool.com/
5
、
seo
网站
英文网站：
搜索观察
http://www.searchenginewatch.com/
seochat
http://www.seochat.com
中文网站
1>
美国尚奇公司
http://www.zunch.cn
全球领先的网站设计和搜索引擎优化服务公司
,
目前中国区负责人为
--柳焕斌
尚奇博客社区
blog.zunch.cn
在这里可以获取最新的
SEO
行业信息
2>
搜索引擎优化交流中心
http://www.seoonline.cn
SEO
从业者网站
1>
尚奇中国区负责人为
--柳焕斌
http://blog.zunch.cn/category/robinliu/
2>seo
专业人士
--bianyue
http://www.bianyue.com/
zhihere
收集
不断更新中
...
/* Font Definitions */
@font-face
{font-family:宋体;
panose-1:2 1 6 0 3 1 1 1 1 1;
mso-font-alt:SimSun;
mso-font-charset:134;
mso-generic-font-family:auto;
mso-font-pitch:variable;
mso-font-signature:3 135135232 16 0 262145 0;}
@font-face
{font-family:"/@宋体";
panose-1:2 1 6 0 3 1 1 1 1 1;
mso-font-charset:134;
mso-generic-font-family:auto;
mso-font-pitch:variable;
mso-font-signature:3 135135232 16 0 262145 0;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
{mso-style-parent:"";
margin:0cm;
margin-bottom:.0001pt;
text-align:justify;
text-justify:inter-ideograph;
mso-pagination:none;
font-size:10.5pt;
mso-bidi-font-size:12.0pt;
font-family:"Times New Roman";
mso-fareast-font-family:宋体;
mso-font-kerning:1.0pt;}
a:link, span.MsoHyperlink
{color:blue;
text-decoration:underline;
text-underline:single;}
a:visited, span.MsoHyperlinkFollowed
{color:purple;
text-decoration:underline;
text-underline:single;}
/* Page Definitions */
@page
{mso-page-border-surround-header:no;
mso-page-border-surround-footer:no;}
@page Section1
{size:595.3pt 841.9pt;
margin:72.0pt 90.0pt 72.0pt 90.0pt;
mso-header-margin:42.55pt;
mso-footer-margin:49.6pt;
mso-paper-source:0;
layout-grid:15.6pt;}
div.Section1
{page:Section1;}
-->
3ks: http://blog.csdn.net/tanruitian/archive/2006/07/18/933903.aspx
一、搜索引擎技术
/
动态资源
<
一
>
、综合类
1
、
卢亮的搜索引擎研究
http://www.wespoke.com/
卢亮属于搜索引擎开发上的专家，以前开发过一个搜索引擎
"
博索
"(
http://booso.com/
),
好像现在已经停止开发了，目前他服务于博客网。在他的这个
blog
上可以了解许多搜索引擎开发的技术和经验，值得持续关注。
2
、
laolu'blog
有不少来自国外的关于搜索引擎方面的资料，偏重于资料和数字
3
、
哈斯日志
http://www.loverty.org/
在这里可以看到国内外几大搜索引擎的最新动态，值得关注搜索发展形势的人多看看
4
、
北京奕天锐新科技有限公司
http://www.21cnbj.com/
搜索引擎、
SEO
、
SEM
等行业新闻动态
5
、
中文搜索引擎指南网
http://www.sowang.com/
搜索引擎最新动态，各种搜索技巧、方法
6
、
中文全文检索网
http://www.fullsearcher.com/
FullSearcher.Com
是有两个对搜索爱好的年轻人创办，我们的目标是让中文互联网全面进入搜索时代，让搜索无处不在。通过搜索改变人们的生活。
FullSearcher
提供全文检索的相关知识、垂直搜索引擎知识、搜索的相关新闻等搜索相关内容。
<
二
>
、
动态
官方博客：
黑板报
http://googlechinablog.com/
中国的博客网志，走近我们的产品、技术和文化
1
、
Gfans
http://gfans.org/
一群
的粉丝
这里没有
PageRank
，没有
HillTop
，没有
SEO
。如果
是龙井，我希望这里便是虎跑，去化开那馥郁如兰之香。观于沧海者难为水，搜于
者难为言，
已不只是文化，他是我的信仰。
本站文章约法三章：
不讨论
SEO
及相关；
不得无聊转载；
严禁侮辱百度。
2
、幻灭的麦克风
www.kenwong.cn
天地
3
、
观察
http://blog.donews.com/googleview/
<
二
>
、其他搜索引擎动态
1
、雅虎搜索日志
http://ysearchblog.cn/
记录雅虎搜索引擎的动态、产品、技术等
二、搜索引擎代码资源
一
>
、搜索引擎
/
网络蜘蛛程序代码
国外开发的相关程序
1
、
Nutch
官方网站
http://www.nutch.org/
中文站点
http://www.nutchchina.com/
最新版本：
Nutch
0.7.2 Released
Nutch
是一个开源
Java
实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具，可以建立自己内部网的搜索引擎，也可以针对整个网络建立搜索引擎。自由
(Free)
而免费
(Free)
。
2
、
Lucene
官方网站
http://lucene.apache.org
中文站点
http://www.lucene.com.cn/
Lucene
是
apache
软件基金会
jakarta
项目组的一个子项目，是一个开放源代码的全文检索引擎工具包
[
用
Java
写的
]
，即它不是一个完整的全文检索引擎，而是一个全文检索引擎的
架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎（英文与德文两种西方语言）。
Lucene
的目的是为软件开发人员提供一个简单易用的工具包，以
方便的在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎。
3
、
Larbin:
http://larbin.sourceforge.net/index-eng.html
larbin
是一种开源的网络爬虫
/
网络蜘蛛，由法国的年轻人
Sébastien Ailleret
独立开发。
larbin
目的是能够跟踪页面的
url
进行扩展的抓取，最后为搜索引擎提供广泛的数据来源。
国内开发的相关程序
1
、
SQLET -
开放源码的中文搜索引擎
官方网站
http://www.sqlet.com/
SQLET
，是
Search & Query &Link,
加后缀
let
，表示小的，小型的意思
.
打算建立一个能搜上亿张网页的基于主题功能的中文搜索引擎
.
支持
3
种索引方
式：
MySql_table_Index
，
Lucene_Index
，
SQLET_Index.
网页抓取可以保存在文件系统及数据库里。自带
WebServer.
2
、菲度垂直搜索引擎代码
菲度
http://www.faydu.net
为一个垂直在线搜索的演示版，主要对国内一些购物站点进行搜索整理，
现在开源测试版本的代码，供大家讨论。下载说明：
1
》因为本程序是在服务器上运行，是在多个处理器下运行的，个人电脑上请控制线程数量
2
》包含一个
data
的数据库
还原到
sql server
3
》收集完毕默认在
bin
目录有
licene
生成的反排的索引文件
4
》下载地址：
http://www.faydu.net/download/code.rar
开放日期：
2006-4-18
来源
:http://blog.csdn.net/faydu/archive/2006/04/18/667997.aspx
语言：
VB.net(c#)
二
>
、中文分词程序代码
1
、计算所汉语词法分析系统
ICTCLAS
中国科学院计算技术研究所在多年研究基础上，耗时一年研制出了基于多层隐马模型的汉语词法分析系统
ICTCLAS(Institute of Computing Technology, Chinese Lexical Analysis
System)
，该系统的功能有：中文分词；词性标注；未登录词识别。分词正确率高达
97.58%(
最近的
973
专家组评测结果
)
，基于角色标注的未登录
词识别能取得高于
90%
召回率，其中中国人名的识别召回率接近
98%
，分词和词性标注处理速度为
31.5KB/s
。
ICTCLAS
和计算所其他
14
项免费发布的成果被中外媒体广泛地报道，国内很多免费的中文分词模块都或多或少的参考过
ICTCLAS
的代码。
下载页面：
http://www.nlp.org.cn/project/project.php?proj_id=6
由于
ICTCLAS
是由
C
语言写成的，现在主流的开发工具用起来不太方便，于是有一些热心的程序员把
ICTCLAS
改为
Java
和
C#
等其他语言。
（
1
）
fenci
，
Java
的
ICTCLAS
，下载页面：
http://www.xml.org.cn/printpage.asp?BoardID=2&id=11502
（
2
）
AutoSplit
，另一个
Java
的
ICTCLAS
，已经找不到下载页面，点击本地下载
（
3
）小叮咚中文分词，曾经有下载页面，现在找不到了。据作者介绍，从
ICTCLAS
中改进，有
Java
，
C#
和
C++
三个版本，介绍页面：
http://www.donews.net/accesine
2
、海量智能分词研究版
海量智能计算技术研究中心为了使中文信息处理领域的研究者们能够共同分享海量智能中心的研究成果，共同提高中文信息处理水平，特此发布《海量智能分词研究版》，供专家、学者和爱好者进行研究。
下载页面：
http://www.hylanda.com/cgi-bin/download/download.asp?id=8
3
、其他
（
1
）
CSW
中文智能分词组件
运行环境：
Windows
NT
、
2000
、
XP
或更高，可以在
ASP
，
VB
等微软的开发语言中调用。
简介
: CSW
中文智能分词
DLL
组件，可将一段文本自动的按常规汉语词组进行拆分
,
并以指定方式进行分隔，且可对其拆分后的词组进行语义、词频标注。其广范应用于各行各业的信息资料检索、分析。
下载页面：
http://www.vgoogle.net/
（
2
）
C#
写的中文分词组件
据作者介绍，一个
DLL
文件，可以做中英文分词组件。完全
C#
托管代码编写，独立开发。
下载页面：
http://www.rainsts.net/article.asp?id=48
三
>
、开源
spider
一览
spider
是搜索引擎的必须模块
.spider
数据的结果直接影响到搜索引擎的评价指标
.
第一个
spider
程序由
MIT
的
Matthew K Gray
操刀该程序的目的是为了统计互联网中主机的数目
Spier
定义
(
关于
Spider
的定义
,
有广义和狭义两种
).
狭义
:
利用标准的
http
协议根据超链和
web
文档检索的方法遍历万维网信息空间的软件程序
.
广义
:
所有能利用
http
协议检索
web
文档的软件都称之为
spider.
其中
Protocol
Gives Sites Way To Keep Out The 'Bots Jeremy Carl, Web Week, Volume 1, Issue 7,
November 1995
是和
spider
息息相关的协议
,
大家有兴趣参考
robotstxt.org
.
Heritrix
Heritrix is the Internet Archive's
open-source, extensible, web-scale, archival-quality web crawler project.
Heritrix (sometimes spelled heretrix, or
misspelled or missaid as heratrix/heritix/ heretix/heratix) is an archaic word
for heiress (woman who inherits). Since our crawler seeks to collect and
preserve the digital artifacts of our culture for the benefit of future
researchers and generations, this name seemed apt.
语言
:JAVA, (下载地址
)
WebLech URL Spider
WebLech is a fully featured web site
download/mirror tool in Java, which supports many features required to download
websites and emulate standard web-browser behaviour as much as possible.
WebLech is multithreaded and comes with a GUI console.
语言
:JAVA, (下载地址
)
JSpider
A Java implementation of a flexible and
extensible web spider engine. Optional modules allow functionality to be added
(searching dead links, testing the performance and scalability of a site,
creating a sitemap, etc ..
语言
:JAVA, (下载地址
)
WebSPHINX
WebSPHINX is a web crawler (robot, spider)
Java class library, originally developed by Robert Miller of Carnegie Mellon
University. Multithreaded, tollerant HTML parsing, URL filtering and page
classification, pattern matching, mirroring, and more.
语言
:JAVA, (下载地址
)
PySolitaire
PySolitaire is a fork of PySol Solitaire
that runs correctly on Windows and has a nice clean installer. PySolitaire
(Python Solitaire) is a collection of more than 300 solitaire and Mahjongg
games like Klondike and Spider.
语言
:Python , (下载地址
)
The Spider Web Network Xoops Mod Team
The Spider Web Network Xoops Module Team
provides modules for the Xoops community written in the PHP coding language. We
develop mods and or take existing php script and port it into the Xoops format.
High quality mods is our goal.
语言
:php , (下载地址
)
Fetchgals
A multi-threaded web spider that finds free
porn thumbnail galleries by visiting a list of known TGPs (Thumbnail Gallery
Posts). It optionally downloads the located pictures and movies. TGP list is
included. Public domain perl script running on Linux.
语言
:perl , (下载地址
)
Where Spider
The purpose of the Where Spider software is
to provide a database system for storing URL addresses. The software is used
for both ripping links and browsing them offline. The software uses a pure XML
database which is easy to export and import.
语言
:XML , (下载地址
)
Sperowider Website Archiving Suite is a set
of Java applications, the primary purpose of which is to spider dynamic
websites, and to create static distributable archives with a full text search
index usable by an associated Java applet.
语言
:Java , (下载地址
)
SpiderPy is a web crawling spider program
written in Python that allows users to collect files and search web sites
through a configurable interface.
语言
:Python , (下载地址
)
Spider is a complete standalone Java
application designed to easily integrate varied datasources. * XML driven
framework * Scheduled pulling * Highly extensible * Provides hooks for custom
post-processing and configuration
语言
:Java , (下载地址
)
WebLoupe is a java-based tool for analysis,
interactive visualization (sitemap), and exploration of the information
architecture and specific properties of local or publicly accessible websites.
Based on web spider (or web crawler) technology.
语言
:java , (下载地址
)
ASpider
Robust featureful multi-threaded CLI web
spider using apache commons httpclient v3.0 written in java. ASpider downloads
any files matching your given mime-types from a website. Tries to reg.exp.
match emails by default, logging all results using log4j.
语言
:java , (下载地址
)
larbin
Larbin is an HTTP Web crawler with an easy
interface that runs under Linux. It can fetch more than 5 million pages a day
on a standard PC (with a good network).
语言
:C++, (下载地址
)
webloupeSpidered Data
RetrievalSpiderPySperowider
zhihere
不断更新中
...
三、
SEO
相关资源
1
、域名信息查询
★
查询国际顶级域名的信息
(.aero, .arpa, .biz,
.com, .coop, .edu, .info, .int, .museum, .net, .org)
，可以通过
ICANN
授权的域名注册商来查询，也可以直接到
INTERNIC
网站查询，网址是
http://www.internic.com/whois.html
http://www.iwhois.com/
★
查询全球各个地理顶级域名是否已经被注册可以到下列网址查询（其中也包括国内域名
.cn
）：
http://www.uwhois.com/cgi/domains.cgi?User=NoAds
★
查询国内域名的注册情况，
http://ewhois.cnnic.net.cn/index.jsp
★
万网的域名注册信息查询
http://www.net.cn/
★
IP
地址查询、域名注册信息
Whois
查询
http://ip.zahuopu.com/
2
、
alexa
相关与搜索排行榜
★
中文排名
500
强
http://www.alexa.com/site/ds/top_sites?ts_mode=lang&lang=zh_gb2312
★
Zeitgeist--Google
搜索排行榜
http://www.google.com/press/intl-zeitgeist.html#cn
★
百度中文搜索风云榜
http://top.baidu.com/
★
雅虎搜索排行榜
http://misc.yahoo.com.cn/top_index.html
★
搜狗搜索指数
http://www.sogou.com/top/
3
、搜索关键词查询
★
关键字查询
https://adwords.google.com/select/KeywordSandbox
★
百度关键字查询
http://www2.baidu.com/inquire/dsquery.php
★
搜狐关键词
http://db.sohu.com/regurl/pv_price/query_consumer.asp
4
、
seo
项目
/
工具
★
网页质量
http://category.booso.com/cgi-bin/category/category.cgi
★
关键词密度
http://www.21ql.com/seo/keyword.asp
★
搜索引擎蜘蛛模拟器
http://www.webconfs.com/search-engine-spider-simulator.php
★
Google Dance
查询工具：
http://www.google-dance-tool.com/
5
、
seo
网站
英文网站：
搜索观察
http://www.searchenginewatch.com/
seochat
http://www.seochat.com
中文网站
1>
美国尚奇公司
http://www.zunch.cn
全球领先的网站设计和搜索引擎优化服务公司
,
目前中国区负责人为
--柳焕斌
尚奇博客社区
blog.zunch.cn
在这里可以获取最新的
SEO
行业信息
2>
搜索引擎优化交流中心
http://www.seoonline.cn
SEO
从业者网站
1>
尚奇中国区负责人为
--柳焕斌
http://blog.zunch.cn/category/robinliu/
2>seo
专业人士
--bianyue
http://www.bianyue.com/
zhihere
收集
不断更新中
...
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐