网站建设好了，当然是希望网页被搜索引擎收录的越多越好，但有时候我们也会碰到网站不需要被搜索引擎收录的情况。比如，你要启用一个新的域名做镜像网站，主要用于PPC的推广，这个时候就要想办法屏蔽搜索引擎蜘蛛抓取和索引我们镜像网站的所有网页。
Category: SEO搜索引擎优化
18 things you need to know about SEO: 1. Crawlability; 2. Site Structure; 3. Content Hierarchy; 4. On-Page Factors; 5. Content Production …
Official Google Webmaster Central Blog 最近的一篇《Submit URLs to Google with Fetch as Googlebot》文章提到的可以通过 Google Wbmaster Tools 的 Fetch as Googlebot 功能将网址提交至 Google 索引，不过 Google 不保证你提交的网址被收录。
看淘宝搜索技术博客上的一篇文章《定向抓取漫谈》对通用爬虫进行了简单的定义，如下：抓取策略：那些网页是我们需要去下载的，那些是无需下载的，那些网页是我们优先下载的，定义清楚之后，能节省很多无谓的爬取。让我对“如何提升网站在搜索引擎的收录数”这个课题有了一些思考，下面归纳的主要用于迎合上面提到的爬虫“抓取策略”。
今天和我们 seo 部门的几位同事一起简单交流了一下网站/网页标题 title 的 seo 写作技巧，我主要归纳了以下四点：1、是否有关键词堆砌的嫌疑。2、是否有利于搜索引擎分词。3、是否能带来高质量的SEO流量。4、是否符合用户的搜索习惯。
以下内容来源于腾讯微博 #Bruce的SEO笔记# 话题广播，以后我会不定期的把我发表的微博消息进行分类汇总，个人感觉微博太过于碎片，不利用知识分享和总结。
介绍关于 Google 搜索结果的几种网站链接：1、网站链接（Sitelinks）；2、单行网站链接（One-line Sitelinks）；3、面包屑导航链接。建议：尽量创建固定并合理的链接架构（包括符合用户习惯的导航设置和为搜索引擎设置可抓取的链接）。
在对 robots.txt 文件设置记录时，要特别注意 Disallow 与 Allow 行的顺序是有意义的，spider 会根据第一个匹配成功的 Allow 或 Disallow 行确定是否访问某个URL。
百度对网站收录的唯一标准是用户搜索体验（via 百度搜索帮助中心），那到底什么样的网站才是符合用户搜索体验的网站？今天重新认真阅读了《百度搜索帮助中心-网页搜索帮助-站长FAQ》。
Mediapartners-Google 漫游器是 Google 众多爬虫程序中其中的一个，用于抓取投放 Adsense 广告网页中的文字内容。Mediapartners-Google 漫游器不与其他 Google User-agent 共享网页。