robots.txt可以删除？
如果你想让搜索引擎收录网站的所有内容，robots.txt文件完全可以删除。使用推荐的站点程序自带默认内容即可(可以有效避免重复和背景敏感)。
PS:不用删除，只需保留网站地图行中的设置，有利于站点SEO。
用户代理:*
网站地图:/sitemap.html
robots.txt要怎么写？
放在网站的根目录下面，最好是弄一个robots.txt 文件 ，如果实在不想弄也不要放一个空的 robots ，爬虫来到一个网站后，首先看的就是你的robots.txt文件，这个文件是网站与爬虫交互的唯一程序
如果一个网站没有robots.txt文件会怎么样？
只是告诉像百度这样的搜索引擎，文件里指定的目录不要采集，但是一些小搜索引擎或个人写的爬虫，谁会管你能不能采集，你说不能采集的东西可能都是些后台的页面，对这些人来说更要采集了
robots文件中到底要不要屏蔽JS和css？
robots.txt文件中不需要专门屏蔽CSS JS 等文件
因为robots.txt只是给搜索引擎蜘蛛爬去做限制的，告诉蜘蛛哪些文件夹或路径不要去爬取。
css js等文件对于搜索蜘蛛来说也是毫无价值的，你就是叫蜘蛛去爬取他也不会去爬取的
因为CSS是用来控制网页样式的样式表，JS是用来做网页行为或效果的脚本文件，这两种文件中没有任何关于网页内容的信息，对蜘蛛来说毫无价值
支付宝扫一扫
微信扫一扫
.png)
.png)
