您好!欢迎进入广东华商网络科技有限公司

东莞做网站

联系我们Contact Us

售后服务:0769-22039111    

人事电话:0769-89818898

邮    箱:dgce@dgce.com.cn

网    址:www.dgce.com.cn

地    址:东莞市南城街道宏一路G1蜂汇1栋写字楼803、804

SEO高手需要懂得什么呢?

2019-12-13

  robots协议书是正确引导蛛蛛抓取网站地形图,也用于维护网站信息和比较灵敏信息内容,保证客户私家信息和隐私维护不被损害。存有于网站根目录正,以文件格式存有,留意robots文件夹名称不可以随意改变。

  SEO高手为什么要懂robots?

  书写::表达关于某一爬虫,

  :表达制止抓取

  :容许抓取

  .*通配符,表达悉数

  .$结束符,表达以哪些结尾

  /根域下就是指网站根目录

  注:灶具显现英文情况下的,并且后边有一个空格符,首写有必要小写。

  例:

  1、User-agent:*Disallow:/关于悉数爬虫制止抓取根目录下的悉数衔接

      2、User-agent:BaiduspiderDisallow:/制止百度爬虫抓取网站悉数联接

     3、User-agent:*Disallow:/a/关于悉数的爬虫制止抓取网站根目录下的a目录

     4、User-agent:*Disallow:/a关于悉数的爬虫制止抓取网站根目录下为“a”开端的文档

    5、User-agent:*Disallow:/*?*(?表达动态性符)制止抓取网站根目录下带?号的动态性衔接

    6、User-agent:*Disallow:/*.js$制止抓取网站根目录下边以.js结尾的文档

   7、User-agent:*Disallow:/a/Allow:/a/b/制止抓取网站根目录下边“a”,容许抓取“a”目录下边的“b”目录。

 8、User-agent:*Disallow:/a/Allow:/a/b制止抓取网站根目录下边“a”目录,容许抓取“a”目录中以“b”开端的文档。


标签

最近浏览:

365*24小时全国统一服务热线

0769-22039555

服务热线:13827298991(陈先生)/18825771900(黄小姐)

技术专线:0769-22039111 邮箱:dgce@dgce.com.cn

地址: 南城街道宏一路G1蜂汇1栋写字楼803、804

华商微信公众号

热门搜索:东莞网站建设东莞做网站东莞建网站

华商网络专业为企业提供基础互联网建设服务:网站建设,网站制作,网站设计,微官网设计制作,小程序开发等等,您的选择是我们奋力向前的最好动力!

版权所有:广东华商网络科技有限公司 备案号: 粤ICP备13071417号

获取同行网站建设方案,10秒填写,急速获得

今日已有165人获取方案

在线客服
服务热线
0769-22039555
138-2729-8991

业务咨询微信
返回顶部