昌盛网络公司专业的seo网络优化推广服务公司,定制高端网站建设,9年的seo优化经验,让你网站有排名有咨询,专业的事交给专业的人来做,选择我们靠谱。

昆明网站建设-SEO优化推广-网络营销公司-昆明昌盛网络
专业的SEO外包公司,五年经验沉淀
为企业创造价值,我们懂技术,更懂营销

什么是robots.txt文件?应该如何书写robots.txt文件

来源:www.seocd.net 作者:昌盛网络小编 时间:2019-01-20 18:33:56 浏览次数:
导读:
相信大家在做好网站的时候,网站根目录都有一个文件名为robots.txt的文本文件,有些建站公司会给你们上传,有些没有,那么robots.txt文件的作用是什么呢?应该如何书写呢?对于我们SEO优 [...]

  相信大家在做好网站的时候,网站根目录都有一个文件名为robots.txt的文本文件,有些建站公司会给你们上传,有些没有,那么robots.txt文件的作用是什么呢?应该如何书写呢?对于我们SEO优化有什么帮助呢?下面昆明SEO的小编为大家详细的解答。

什么是robots.txt文件?应该如何书写robots.txt文件
什么是robots.txt文件?应该如何书写robots.txt文件

  一、什么是robots.txt文件?

  什么是robots,你可以理解为搜索引擎蜘蛛爬行规则,当一只蜘蛛来到你的网站时,它首先会看到robots.txt,它将告诉蜘蛛可以对哪些页面进行抓取,哪些要阻止的页面不能进行爬网和收录。

  robots文件一般都有什么作用呢?比如说新站,很多新站是刚上线的,搜索引擎蜘蛛的抓取频率比较有限,所以一定要合理的利用好robots文件,引导蜘蛛爬行和抓取。

  又比如说有的网站是做了伪静态处理的,那么在上线前最好将动态链接给屏蔽掉,这个时候就要在robots文件里面写Disallow。如果你不屏蔽掉动态网页链接,那么搜索引擎蜘蛛过来抓取的时候发现动态网页和静态网页都是指向一个页面的,页面的排版布局和内容都一样,这就是镜像网页了。这样对seo是有一定的影响的。

  二、robots.txt怎么写?

  1、 格式例子:

  User-agent: *

  Disallow:

  User-agent: *:这里的*代表的所有的搜索引擎种类,*是一个通配符,也可以是具体的搜索引擎蜘蛛,如Baiduspider 百度蜘蛛。

  2.Allow:是代表允许指令,就算不写指令,搜索引擎也是默认抓取,因此允许指令的作用没其他指令大。

  3.Disallow:该指令代表禁止指令,按网站路径或者某一特性进行限制抓取,一般后面会加上禁止访问页面的路径,作用很大。

  注意:每一个指令的“:”符号后面,都要空一个空白字符,同时每一个指令前面的第一个英文字母都是大写的,后面跟上小写的,这两点是非常重要的,需要大家注意。

  三、如何创建robots.txt文件?

  1.如果网站根目录下没有robots文件,可以新建一个txt纯文本文件,然后命名为“robots.txt”,然后在该文本中编辑相应指令,通过ftp上传到网站根目录即可。

  2.如果网站本身就有robots文件,则可以下载文件进行修改,然后在上传覆盖即可。注意,robots文件一定要放在根目录下。

  总之,robots一定要巧妙的运用起来,运用得好的话对网站整体的优化都会有好处的。这里也希望大家能合理的运用好robots文件。

本文由昆明昌盛网络小编编辑,转载请注明出处:什么是robots.txt文件?应该如何书写robots.txt文件http://www.seocd.net/news/seojq/19.html
  • 标签:
  • 昆明SEO
关于我们 About us

您可以在线咨询...

185-8320-0156

0871-63312249

云南省昆明市官渡区新螺蛳湾

关注有惊喜

Copyright © 2013-2019 昆明昌盛网络科技有限公司 昆明SEO外包公司 版权所有 网站地图
在线客服
免费咨询热线
185-8320-0156
138-8838-0739
微信二维码
关注有惊喜