robots.txt写的。

robots.txt的编写是seo人员必须要知道的事情(什么是robots . txt)，但是怎么写，什么是禁止的，什么是允许的，就要靠我们自己去设置了。

百度是一台机器，它只知道数字、字母和汉字，而robots.txt是最重要的，也是最先与百度“对话”的内容。

当我们的网站没有建好的时候，我们不希望百度抓取我们的网站，也经常有人禁止百度抓取。但是这种做法很不好，会让百度蜘蛛很难再来你的网站。所以我们现在一定要成立一个本地网站，等一切都做好了再买域名，空。否则一个网站的反复修改会对你的网站产生一定的不良影响。

我们的网站最初被写成robots.txt如下:

用户代理:*

不允许:/wp-admin/

不允许:/wp-includes/

User-agent: *表示允许所有引擎爬网。

而Disallow: /wp-admin/和Disallow: /wp-includes/禁止百度抓取我们的隐私，包括用户密码、数据库等。这样的写法，既保护了我们的隐私，又最大化了百度蜘蛛的抓取。

如果想禁止百度蜘蛛抓取某个页面，比如123.html，只需添加一个代码“禁止:/123.html/”。

robots.txt写好之后，只需要上传到网站的根目录就可以了。

robot是什么文件夹？

robots.txt文件是一个文本文件，使用任何一个常见的文本编辑器，比如Windows系统自带的Notepad，就可以创建和编辑它 。robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。

robot是什么协议？

robots协议也叫robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的。因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。

什么叫网站robots权限限制？

robots是网站跟爬虫间的协议，用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限，

也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问

一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会

按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站

上所有没有被口令保护的页面。

 

机器人开放协议是什么？

Robots协议也称为爬虫协议、爬虫规则、机器人协议，是网站国际互联网界通行的道德规范,其目的是保护网站数据和敏感信息、确保用户个人信息和隐私不被侵犯。

“规则”中将搜索引擎抓取网站内容的范围做了约定,包括网站是否希望被搜索引擎抓取,哪些内容不允许被抓取,而网络爬虫可以据此自动抓取或者不抓取该网页内容。如果将网站视为酒店里的一个房间,robots.txt就是主人在房间门口悬挂的“请勿打扰”或“欢迎打扫”的提示牌。这个文件告诉来访的搜索引擎哪些房间可以进入和参观,哪些不对搜索引擎开放。

robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的。

因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。如果想单独定义搜索引擎的漫游器访问子目录时的行为，那么可以将自定的设置合并到根目录下的robots.txt，或者使用robots元数据。