郑州网站优化,郑州品牌推广,郑州网站建设公司,朗创网络营销欢迎您 ! 联系我们|收藏本站|网站地图

朗创网络

帮助企业快速提升网络营销业绩专注网站建设,SEO关键词排名,一切用数据说话 !

咨询电话:400-880-6422

您的位置: 郑州网站优化 > SEO资讯 >

SEO优化的Robots.txt高级使用技巧

作者: admin 来源: 未知 发布日期: 2019-07-03
信息摘要:
您会应用robots.txt seo优化的robots.txt高级应用程序技能吗?下面的徐州朗创网络向您介绍robots.txt的高级应用程序。 Front / in? Be careful in the front / in the bow / in front robots.txt使用要点 在介绍高

  您会应用robots.txt seo优化的robots.txt高级应用程序技能吗?下面的徐州朗创网络向您介绍robots.txt的高级应用程序。

  Front / in? Be careful in the front / in the bow / in front

  robots.txt使用要点

  在介绍高级应用程序之前,让我们先看看使用robots.txt的要点:

  1.每个域名,无论它是否是子域名,最多可以有一个robots.txt文件,可以放在网站根目录中。YourName.com的robots.txt对abc.youname.com没有任何限制。

  2.每个协议都可以有robots.txt。例如,http://yourname.com和https://yourname.com可以各有一个robots.txt。

  3.每个端口可以有一个robots.txt。例如,http://yourname.com和http://yourname.com:8080可以各有一个robots.txt。

  4.文件名必须是小写。不可能是robots.txt。

  5.用户代理的名称和用户代理的大小写、允许、不允许、爬行延迟、站点地图指示符都是不敏感的.

  6.robots.txt中包含的URL区分大小写。通过区分大小写,可以有效地排除索引。

  “允许”和“不允许”的URL必须是不包括协议、域名和端口的路径。

  7.不允许:http://yourname.com/abc.htm错了。更改为“不允许”:/abc.htm

  8.Sitemap必须包含以HTTP或HTTPS开头的完整URL。

  9.txt不是死锁提交工具。如果要删除死锁索引,则应登录到搜索引擎网站管理员平台提交。

  10.txt只差于robots.txt,在这个文件中没有任何区别,也就是说,是否要做这个排除。删除robots.txt意味着爬行对漫游完全开放。

  11.robots.txt只是一个绅士,而不是一个恶棍。历史上有许多违反robots.txt的行为。网站想在着陆后发布机密信息。

  12.如果要严格防止搜索引擎索引,建议不使用索引标记。但百度不支持。

  13.Google和百度不支持爬行延迟,而Yandex和Bing则支持。Yandex还支持主机指示符来表示首选域名。

  14.符号#用于注释。以下内容将被忽略。

  Front / in? Be careful in the front / in the bow / in front

  合并多个用户代理

  如果你有不止一个讨厌的机器人爬上你的网页来消耗你的资源,你可以通过拒绝(当然,假设他们是绅士)来阻止他们。您可以通过用户代理立即阻止它们。

  User Agent: bad-bot-a

  User Agent: bad-bot-b

  Not allowed: /

  当您有多个用户代理时,这篇文章很有用,每个用户代理都很复杂,但都是相同的。

  User Agent: bad-bot-a

  User Agent: bad-bot-b

  Not allowed: /XXX

  省略以下200行,以便使robots.txt简洁。

  无形通配符*

  我要说的是通配符*。它代表任何长度的字符。请注意,在每一行“允许”、“不允许”之后都有一个不可见的*。

  也就是说,如果您写的是“不允许”:/cat/,下面的内容将影响所有URL,以/cat/开头,例如:

  http://yourname.com/cat/abc.htm

  http://yourname.com/cat/abc.html

  http://yourname.com/cat/abc/

  但也有例外,即在允许和不允许之后没有作业。例如,这个官方的例子。

  User Agent: *

  Not allowed: / Cyber World / Map / # this is an infinite virtual URL space

  #网络映射器可以访问任何页面

  User agents: network maps

  It is not allowed to:

  Front / in? Be careful in the front / in the bow / in front

  为每个用户-代理自定义站点地图

  “国际seo不完全介绍”一文指出了在seo上使用目录进行多语种网站布局的问题。由于百度等中国搜索引擎对泰文、挪威文甚至英文和法文都不感兴趣,让百度蜘蛛在非中文网页上爬行会造成大量资源浪费,这不仅会影响索引,还会影响排名。为此,我们可以使用“不允许”来阻止其他辅助页。

  然而,对于站点地图指示器,它并不针对特定的用户代理。无论你的Sitemap语句出现在哪里,它对所有搜索引擎都是有效的。

  如果我们希望一些搜索引擎只访问特定的站点地图,我们该怎么办?除了在网站管理员平台上提交网站地图之外,我们还可以在robots.txt中实现它们。不要忘记,Sitemap文件也是一个资源,我们也可以阻止它与不允许。假设我们有一个全语言的Sitemap-all-lang.xml和一个用于中文内容的sitemap-zh.xml。我们可以这样做:

  User Agent: *

  Not allowed: / sitemap-zh.xml

  User Agent:

  Not allowed: / sitemap-all-lang.xml

  Sitemap:http:/yourdomain.com/sitemap-zh.xml

  Sitemap:http:/yourdomain.com/sitemap-all-lang.xml

  这样,中文网站地图只对百度可见,而整个语言地图只对百度外的蜘蛛可见。

  Front / in? Be careful in the front / in the bow / in front

  地图太大了。我该怎么办?

  我们知道搜索引擎通常会限制站点地图的大小和它们包含的URL的数量。例如,百度将5万URL和10 MB文件的大小限制为一个站点地图文件。在这种情况下,您可以在robots.txt中给出多个站点地图文件的URL。除了此拆分之外,还可以使用Sitemap索引文件。

  可以索引多个站点映射。

  其他主流搜索引擎也承认这种索引格式。

  然后问题就出现了,即使有很多大文件,传输也会变得非常低效。为了解决这个问题,我们可以对GZIP站点地图进行压缩。压缩工具,如7-zip可以压缩文件。需要注意的是,在压缩之前,您的单个站点地图文件仍然必须小于10 MB,并且包含少于50,000个URL。

  以上是robots.txt的高级应用技能,您可以在此高级技能的基础上设置您的网站。如果你不明白,你可以直接联系徐州seo帮你建立。

 

咨询热线

400-880-6422