SEO优化标签name=”robots“详解content=index,follow,noodp,noydir,noindex,nofollow

在SEO中，除了在根目录下做一个robots.txt全局搜索引擎的访问行为进行控制外，还可以直接在页面设置一个meta标签<meta name=”robots” content=”noodp,noydir”/>

参数说明-name=”robots”

针对google：< meta name=”googlebot” content=”noodp”/>

针对Yahoo：< meta name=”slurp” content=”noydir”/>

针对MSN：< meta name=”msnbot” content=”noodp”/> 但一般我们不需要设置这么细

搜索引擎与名称对照

Google — googlebot
MSNSearch — msnbot
Yahoo — yahoo-slurp
Baidu — baiduspider
Ask/Teoma — teoma
Cuil — twiceler
GigaBlast — gigabot
Scrub The Web — scrubby
DMOZ Checker — robozilla
Nutch — nutch
Alexa/Wayback — ia_archiver
Naver — naverbot, yeti
AltaVista — scooter
AllTheWeb — FAST-WebCrawler
Inktomi — Slurp

特殊搜索引擎名称对照

Google Image — googlebot-image
Google Mobile — googlebot-mobile
YahooMM — yahoo-mmcrawler
MSN PicSearch — psbot
SingingFish — asterias
YahooBlogs — yahoo-blogs/v3.9

参数说明-content=”noodp,noydir”

这个参数对控制的内容或者行为进行设置

noindex: 防止网页被索引
nofollow: 不要通过当前页的链接来寻找并抓取新的网页
nosnippet: 在搜索结果中显示当前页时，不要显示页面摘要
noodp（No Open Directory Project）: 在为本页产生标题或页面摘要时，不要使用开放式目录项目（又名dmoz.org）中的文本
noarchive: 在显示本网页于搜索结果中时，不要显示一个”网页快照”链接
unavailable_after:[日期]:在指定的日期和时间后从搜索结果中删除这个网页
all: 搜索引擎将索引此网页与继续通过此网页的链接索引，等价于index，follow。
index : 搜索引擎索引此网页。
follow：搜索引擎继续通过此网页的链接索引搜索其它的网页。
noodp noydir：不使用DOMZ、Yahoo!目录中描述作为网页摘要
NOYDIR（No Yahoo Directory）：在搜索结果中不使用YahooDirectory中的描述信息作为其摘要信息。

noodp noydir使用说明

有些时候站点加入了dmoz或者yahoo的分类目录，这本是好事，但很多时候开始加入的时候并未考虑完全，或者后来网站业务出现的变化等等，这样的情况下，使得原本的好事可能在一些时候反倒有了负面影响，因为Google和yahoo默认情况下会优先抓取dmoz和雅虎分类目录里面的信息作为搜索结果的标题和描述。

SEO优化标签name=”robots“详解content=index,follow,noodp,noydir,noindex,nofollow