专家搜索引擎优化—搜索引擎的Robots |
| |
编译：Karen |
搜索引擎的Robot或Spider在搜索引擎的检索中扮演着重要的角色。搜索引擎通过这些聪明的小东西来完成对你网站的检索和数据的收集。这些Spiders各有其不同喜好。例如搜索引擎是否支持特定的一些元标记，哪些URL可以被读取等等，这些因素均由搜索引擎所使用的Robots所决定。
下表列出了一些重要的搜索引擎Spiders及其特性： |
| 搜索引擎： |
AltaVista |
Excite |
Fast |
Google |
HotBot |
Inktomi |
iWon |
Lycos |
| 搜索引擎的Spider名称 |
Scooter |
Architext |
Fast |
Googlebot |
Slurp |
Slurp |
Slurp |
T-Rex |
| 是否支持Robots.txt |
支持 |
支持 |
支持 |
支持 |
支持 |
支持 |
支持 |
支持 |
| 是否读取 Robots标记元 |
支持 |
支持 |
支持 |
支持 |
支持 |
支持 |
支持 |
支持 |
| 是否读取特殊字符 |
否 |
否 |
否 |
否 |
参看Inktomi |
读取特殊字符, 但默认状态下不检索动态页面 |
参看Inktomi |
否 |
| 是否读取描述元标记(读取字符数) |
是(249) |
是(395) |
否 |
是(170) |
是(170) |
是(170) |
是(250) |
否 |
| 是否读取ALT元标记 |
是 |
是 |
是 |
是 |
是 |
是 |
|
是 |
| 是否读取关键字元标记(读取字符数) |
是 |
否 |
否 |
否 |
是 |
是 |
是(1017) |
否 |
| 是否读取帧(FRAME) |
是 |
否 |
是 |
是 |
参看Inktomi |
不跟进SRC链接 |
否 |
否 |
| 是否深入遍历(遍历深度?) |
是(2) |
是 |
是 |
是 |
是(5) |
是# |
是(5) |
是(2) |
| 数据库检索更新频率 |
45天 |
不定 |
9-12天或*5天 |
每月 |
用Inktomi |
2天*到6周 |
不定 |
用Fast |
|
备注：
“*” 表示仅限于PFI(付费收录)页面。
“#” 表示对于使用付费收录服务(PFI)的网站，则Inktomi只对那些付费的页面进行检索。 |
|
| 搜索引擎优化最常见的5个误区
(2003-10-09) |
| Robots
Meta Tag的使用 (2003-09-29) |
| Robots.txt指南
(2003-09-20) |
| 如何提高站点的链接流行度
(2003-09-12) |
| 搜索引擎和网站的目录结构
(2003-09-06) |
| |
更多翻译/原创稿件... |
