1被robotstxt文件阻止 可以说robotstxt文件是最重要的渠道可以和搜索引擎建立直接对话，给出以下建议用户代理Baiduspider 不允许 用户代理Googlebot 不允许 用户代理谷歌机器人手机 不允许 用户代理谷歌机。

这里要说明的是Robotstxt文件只能起到阻止搜索引擎索引Robotstxt写法1如果你站点中的所有文件，都可以让蜘蛛爬取收录的话，那么语法这样写Useragent *Disallow当然，如果你网站中全部的文件都可以让搜索引擎索引的。

用nofollow 就可以Nofollow的写法有以下两种1在meta中定义，如果在meta中定义Nofollow的话，则搜索引擎不会跟踪该页面的所有链接语法为 表示 禁止抓取本页，同时禁止跟踪本页中的链接还有其他的写法 aindex。

1 第一种方法需要我们使用robotstxt屏蔽百度蜘蛛抓取下图所示页面2 屏蔽效果如下图所示3 除此以外，我们也可以通过使用robotsMeta标签，屏蔽搜索引擎抓取，在头部加入下图红框所圈代码即可4 屏蔽代码如下图所示。

3联系百度管理人员，信箱地址为webmaster@baiducom，用网站联系人信箱发电邮，如实说明删除网页快照的情况，经百度核实后，网页停止收录抓取4登陆百度自己的“百度快照”帖吧和“百度投诉”帖吧，发个帖子，表明删除网页。

1在网站根目录下建立一个dl文件夹，上传wordpress程序，建立一个新的wordpress站点2在robotstxt文件中写入代码禁止蜘蛛抓取dl文件夹下的所有页面Disallowdl3在刚成立的。

这样的写法既保护了我们的隐私，也让百度蜘蛛的抓取最大化如果，你想禁止百度蜘蛛抓取某一个页面，比如123html，那就加一句代码“Disallow 123html”即可robotstxt写好后，只需要上传到网站的根目录下即可。

Disallow 目录名字 说明这里设定禁止蜘蛛抓取的目录名称例如，想禁目Msn蜘蛛抓取admin文件夹，可以设代码如下Useragent Msnbot Disallow admin 五设定某种类型文件禁止被某个搜索引擎蜘蛛抓取，设置代码如下。

会的，display 只是在前台页面显示隐藏，但内容在网页html中还是存在的你在里面放 刻意优化 的内容的话，搜索引擎会惩罚你的参考资料htm。

没有针对搜索引擎的屏蔽代码如果不想网站内容被搜索引擎抓取就在网站根目录建立一个robotstxt文件内容填写为UseragentDisallow 如果只是要屏蔽百度搜索蜘蛛，那就是 Useragentbaiduspider Disallow 把这个。

不用写，只要在网站根目录下写一个robotstxt文件就可以了具体格式是UseragentDisallow Inc Disallow Js Disallow Admin 表示INCJSAdmin目录下的文件都不让蜘蛛访问。

4然后找到“建议搜索引擎不索引本站点”前面的框框，然后勾选这个框框，然后点击“保存更改”即可 二上传robots文件的方式 1先在本地创建一个robots文件robotstxt 2然后在robots文件里面写入静止搜索引擎抓取的代码 3。

robotstxt一般是控制你自己的网站内部链接 你可以不你站内的淘宝地址“nofollow”掉什么什么什么 或者此页面所以链接都不抓取。

屏蔽所有蜘蛛抓取abccomarticle代码是UserAgentDisallow article 如果只是文章对应的URL变了，而文章内容没变，最好使用301，如果是直接不要这部分内容了，可以直接用robots，但是要做好404。

不能某个文件，只能某个目录如UseragentDisallow 01 所以你要禁止某个文件，可以将此文件单独放到一个目录下面即可。