robots协议支持中文目录?

2016-11-03 23:03 阅读 414 views 次 评论 2 条

站长们都是知道的,目前蜘蛛还不怎么能够很好的识别js,flash,图片等等,但是随着站长们不断的实操,问题还是不断的涌了出来。
我们都知道,现在搜索引擎对于再链接中出现中文是不怎么友好的,以至于需要利用robots来进行屏蔽,所以问题就出现了,robots协议是可以设置屏蔽,但是否可以生效,robots文件是否支持中文呢?(百度工程师已经明确指出:sitemap中有文件是可以生效的)之前百度官方是没有给出一定的回答。
百度官方给出robots协议是否支持中文目录展示图
但在前不久,百度工程师解答了关于robots文件是否支持中文这一说:Baiduspider目前(2016年10月)

在robots协议里是不支持中文的。

既然是robots协议中不支持中文,那如果是出现UrlEncode编码的,Baiduspider会不会支持呢?
就像这种:http://www.xiaofaseo.com/%E7%89%B9%E6%AE%8A:%E6%B5%8F%E8%A7%88/%E7%94%9F%E6%AD%BB%E7%8B%99%E5%87%BB:%E7%99
又有百度工程师出来说话了,robots文件的确支持这种写法,但是否生效,还要取决于当时BaiduSpider抓取的是哪种形式结构的链接,如果是UrlEncode编码就可以生效,如果是中文就非常不幸了。
这时候在设置url链接的时候就显得非常的重要,设置好不好,直接影响百度蜘蛛的抓取和排名优化。

相关推荐:

文章真的都更新完了吗

URL优化与收录的集权掌控

打通robots 协议的任督二脉

制作sitemap地图的两大秘诀

如何精准制定网站优化方案

站长必知的百度更新及排名算法原理

版权声明:本文著作权归原作者所有,欢迎分享本文,谢谢支持!
转载请注明:robots协议支持中文目录? | 小发SEO
分类:SEO解疑 标签: