网站一定要写robots吗 – 段文杰SEO博客

发布网友发布时间：2024-10-21 23:05

共2个回答

热心网友时间：2024-10-23 02:08

这个当然要写啦，而且是非常重要的，robots文件可以屏蔽一些蜘蛛读取不了的文件，就会少很多404页面，提高蜘蛛抓取的质量，这样蜘蛛才能有效的全部抓取到所有内容。
不然就是写的文章再好，蜘蛛抓取不到岂不是很可惜。

热心网友时间：2024-10-23 02:09

我知道你是广告的，但是我告诉你robots 不一定要写，除非你要禁止某个目录或者文件让蜘蛛访问，才需要写robots规则。

声明：本网页内容为用户发布，旨在传播知识，不代表本网认同其观点，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。E-MAIL:11247931@qq.com