搜索引擎：
网站能不能被搜索引擎索引到，除了看有没有向搜索引擎入口提交、有否与其他站点交换链接等之外，还得看根目录底下的robots.txt文件有没有禁止搜索引擎的收录，这里摘录一些关于robots.txt文件的写法备忘。
什么是robots.txt文件
搜索引擎通过一种爬虫spider程序（又称搜索蜘蛛、robot、搜索机器人等），自动搜集互联网上的网页并获取相关信息。
鉴于网络安全与隐私的考虑，搜索引擎遵循robots.txt协议。通过根目录中创建的纯文本文件robots.txt，网站可以声明不想被robots访问的部分。每个网站都可以自主控制网站是否愿意被搜索引擎收录，或者指定搜索引擎只收录指定的内容。当一个搜索引擎的爬虫访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果该文件不存在，那么爬虫就沿着链接抓取，如果存在，爬虫就会按照该文件中的内容来确定访问的范围。
百度、Google 搜索引擎查询参数详解：
百度：baidu.com搜索参数
wd--查询的关键词(Keyword)
pn--显示结果的页数(Page Number)
cl--搜索类型(Class)，cl=3为网页搜索
rn--搜索结果显示条数(Record Number),取值范围在10--100条之间，缺省设置rn=10
ie--查询输入文字的编码(Input Encoding),缺省设置ie=gb2312,即为简体中文
tn--提交搜索请求的来源站点
几个有用的tn