由于该网站的robots.txt文件存在*指令，系统无法提供该页面的内容描述进不了淘宝怎么解除
发布网友
发布时间：2022-05-13 06:16
共2个回答
热心网友
时间：2023-11-24 09:17
robots.txt文件，就是可以设置你网站的哪些内容允许蜘蛛抓取，哪些不允许蜘蛛抓取的一个文件。今日，据百度站长平台最新消息，用户在百度搜索网址或相关关键字时，网页搜索结果会出现robots提示。
简单地说，如果网站设置了robots文件，并且是不允许蜘蛛抓取的，而这个网站对用户有是有需要的，百度就是根据你输入的网址或相关关键字展示这个网站，不过，这和其它网站不一样，搜索的结果只出现title中的部分关键字，并且不会出现这个网站的元标签描述部分。
对应的元标签描述部分将由最新上线的robots提示代替，比如，用户在搜索淘宝网时，出现“由于该网站的robots.txt文件存在*指令，系统无法提供该页面的内容描述 - 了解详情”字样。
扩展资料：
撰写robots.txt的注意事项：
一、合理的使用robots.txt文件，可以有效的避免用户从搜索引擎进入网站，不经过登录就能进行各种操作，因为有些网站需求必须登录才能操作，这样也方便管理用户。
二、有时候可以使用robots.txt防止搜索引擎抓取动态页面，而只允许它抓取伪静态页面。因为现在很多时候，由于网站的需求的网页是伪静态。
三、需要将搜索引擎爬虫远离网站的程序文件和后台管理文件，这样可以保证整个网站的正常运行。
四、为了节省服务器的资源，可以将一些想保护的文件分类放入特定的文件夹，然后使用Disallow：/语法进行有效的阻止，包括数据库文件、模版文件、CSS样式文件、导航图片和背景图片等等。
五、还可以设置允许那个或者那几个搜索引擎蜘蛛访问抓取网站的内容，避免一些垃圾的搜索引擎对网站内容无*抓取，而导致网站服务器性能降低甚至瘫痪的现象发生。
六、对于一些初学者来说，robots.txt的语法不怎么熟悉，写的不正确或者不规范，可以直接在网站的根目录下上传一个空的文本文档 ，把文档的名称写为小写的robots.txt。
热心网友
时间：2023-11-24 09:17
