根据最近几个月的观察,我发现网站的IP地址所在地对百度索引收录和快照更新时间的影响甚大。
我有几个网站的服务器IP物理地址位于美国的德克萨斯州休斯顿,这些网站在百度搜索的表现情况我概括了一下,大致如下:
- 新站上线之后在一周之内能被百度成功的收录,一般只是首页被收录。
- 首页之外的其他页面很难被百度收录,即使我通过增加外链、提高网站的曝光度等SEO策略来吸引百度的蜘蛛,也没看到预期的效果。
- 网站首页的百度快照更新时间极不正常,有的时候半个月才更新一次,更有甚者一个月才更新一次。
而这些网站在 Google 的收录情况表现良好且网站内容快照更新正常。
通过分析服务器日志,对比分析Baiduspider 和 Googlebot 访问这些网站的频次,前者要比后者少得多啊。
看来,百度的服务器数量和对网页索引技术相比较 Google,真的是差距不小,呵呵
==2010.06.02 更新==
百度度对海外站点没有歧视。但百度从国内爬出去的蜘蛛,会严格遵守国家的政策和法令,所以国内普通用户访问受限的内容,百度蜘蛛一样会搞不定。
参考来源:http://t.qq.com/p/z/2000053398477
搜索引擎技术决定搜索结果页(SERP),做实际数据test,支持下。。
谢谢 Boson 同学的支持!
那你观察到的数据,有没有百度spider连内页都未爬行的?
有的时候百度spider甚至就只爬行了首页。
我也发现有一定的影响