网站建设好了，当然是希望网页被搜索引擎收录的越多越好，但有时候我们也会碰到网站不需要被搜索引擎收录的情况。比如，你要启用一个新的域名做镜像网站，主要用于PPC的推广，这个时候就要想办法屏蔽搜索引擎蜘蛛抓取和索引我们镜像网站的所有网页。
Tag: 机器人
Mediapartners-Google 漫游器是 Google 众多爬虫程序中其中的一个，用于抓取投放 Adsense 广告网页中的文字内容。Mediapartners-Google 漫游器不与其他 Google User-agent 共享网页。
根据最近几个月的观察，我发现网站的IP地址所在地对百度索引收录和快照更新时间的影响甚大。通过分析服务器日志，对比分析Baiduspider 和 Googlebot 访问这些网站的频次，前者要比后者少得多啊。百度的服务器数量和对网页索引技术相比较 Google，真的是差距不小。