打通robots 协议的任督二脉

2016-09-17 01:43 阅读 501 views 次 评论 4 条

在上一篇文章中已经详细的陈述了robots协议中各点语法,那么就此篇文章就来详细的讲解如何打通任督二脉,成为绝世高手。
那么成为武林高手有哪些好处呢?
打通robots 协议任督二脉的作用

1 禁止或降低页面质量的出现来提升功法获得权重
2 为网站立标准从而引导蜘蛛爬取重要功法
3 减少权重值的不必要流失来集权
那么具体该如何来打通robots协议的任督二脉呢,我们先来看一下下面这张图:
robots协议编写案例
(还是不懂语法该如何用的可以点击:robots协议之语法篇)
通过此篇文章可以发现屏蔽的都是一些对用户来说无价值的页面比如说:
1 不想让蜘蛛知晓的后台数据
2 蜘蛛抓取不到的中文路径,、js,css等等
3 输入页面无质量的页面
4 修改网站后留下的死链
5 两条路径屏蔽动态路径
等等
那么在修炼功法时应该要注意什么呢?
1 搭建新站时,不要为了不让蜘蛛抓取而去屏蔽整站,会直接导致蜘蛛长时间不来爬取你的网站。
小技巧:搭建新站不小心屏蔽时,可以先把首页放出来,让蜘蛛有的抓,再不断的更新文章,去吸引蜘蛛。
2 所有的robots协议的语法使用都是在英文状态下使用的,像Disallow: / 开头字母必须是大写 在冒号后面必须要有空格键。
3 这就会一种错误写法,蜘蛛是抓取不了的
User-agent: *
Disallow: /wp-admin/ /wp-content/ /wp-includes/
4 需要分清楚这种两写法:
比如:Disallow: /member 是指告诉搜索引擎不要来抓取member的整个文件
Disallow: /member /表示的是叫引擎不要来抓取meber的文件夹
5 写好的robots协议要放置在ftp更目录中来让蜘蛛知晓。
6 一般robots协议文件提交后,需要几天到两个月以内才会生效。

推荐:robots协议之语法篇

版权声明:本文著作权归原作者所有,欢迎分享本文,谢谢支持!
转载请注明:打通robots 协议的任督二脉 | 小发SEO
分类:SEO实操 标签: