优化Robots来提升网站的搜索引擎优化

优化Robots来提升网站的搜索引擎优化

• 2016年4月6日
• 作者： 小卓
• 所在分类：后端开发
• 标签: Robots, 搜索引擎优化, 网站
• 评论数： 还没有评论

你想要知道怎样优化网站的Robots文件吗？既不知道Robots.txt文件对网站搜索引擎优化SEO有何作用，也不知道该怎样进行优化？小卓这就为您解答。这篇文章会让你知道怎样优化网站的Robots.txt文件来实现搜索引擎优化，同时也会让你了解到Robots.txt文件的重要性。

最近，有位惠州的客户问我们，他们的网站是否需要Robots.txt文件，以及这个文件到底有什么用。在你网站搜索引擎优化的整体效果上，Robots.txt文件起到了极为重要的作用。本质上，它能让你与各大搜索引擎进行对话，让它们知道你网站的哪些内容需要被检索，而哪些不需要。

我真的需要一个Robots.txt文件吗？

事实上，即使没有Robots.txt文件，搜索引擎的爬虫也会悄悄地扒你的网站，并为你的网站建立索引。但是，小卓仍然强烈推荐你的网站需要创建一个。如果你想提交网站地图（Sitemap）到各大搜索引擎，Robots.txt文件能指引各大搜索引擎爬虫找到正确的网站Sitemap文件，实现搜索引擎优化，当然除非你在各大搜索引擎的站长管理工具里都已经指定了。

如果你的网站现在还没有一个Robots.txt文件，小卓强烈建议你马上创建一个。

Robots.txt文件放在哪里的？怎样创建一个Robots.txt文件呢？

Robots.txt文件通常会放在你网站的根目录下面。你需要通过ftp客户端连接网站，或者通过后台管理工具才能看到它。、

Robots.txt文件就像其他普通的TXT文件一样，你可以通过文本编辑工具，比如：Notepad++、UltraEdit，来打开它。

如果在网站的根目录下没有找到这个Robots.txt文件，那你就需要创建一个。你需要做的只是在你的电脑上创建一个文本文件，根据网站实际需要填写相关规则后将其保存为Robots.txt。然后，再将它上传到网站的根目录就行了。

怎样编辑Robots.txt文件？

Robots.txt的文件格式非常简单。第一行通常是用户代理的名字。用户代理实际上就是你试图与之沟通的爬虫的名字。例如，百度蜘蛛：Baiduspider， 谷歌爬虫：googlebot。当然你也可以使用通配符*来标识所有搜索引擎的爬虫。

接下来的数行都是以Allow或Disallow开头的，用来指引第一行中指定的爬虫要扒取网站的哪些内容或者不要扒取哪些内容。

看看下面这个Robots.txt文件的实例：

在这个给WordPress网站的例子中，我们指引所有的爬虫从uploads目录下扒取图片，同时不允许它们扒取插件和readme.html文件。

添加网站地图Sitemap指引到Robots.txt文件

如果你有生成网站地图Sitemap文件，不要忘了把它或它们添加到Robots.txt文件中。下面是一个将网站地图Sitemap文件加到Robots.txt文件中的实例：

此外，一个网站可以有多个Sitemap文件，同时对不同的搜索引擎可以使用不同的Sitemap文件，这些都可以在Robots.txt文件中设置，最终实现按站长的想法与各大搜索引擎的友好沟通，达到网站的搜索引擎优化（SEO）的效果。

怎么样，看完此文是不是对Robots文件有了全面的了解了？如果你的网站还没有Robots文件，又或者内容还不是那么友好的，那么赶快修改把，通过优化你的Robots文件提升网站的搜索引擎优化效果。