如何不让搜索引擎收录?

发布网友发布时间：2022-09-15 15:10

共1个回答

热心网友时间：2023-10-09 07:38

robots.txt 文件对抓取网络的搜索引擎漫游器（称为漫游器）进行*。这些漫游器是自动的，在其访问网页前会查看是否存在防止其访问特定网页的 robots.txt 文件。仅当您的网站包含不希望搜索引擎编入索引的内容时，才需要使用 robots.txt 文件。如果您希望搜索引擎将网站上的所有内容编入索引，则不需要 robots.txt 文件（甚至连空文件也不需要）。更多内容请访问： http://www.google.com/support/webmasters/bin/answer.py?answer=40360

声明：本网页内容为用户发布，旨在传播知识，不代表本网认同其观点，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。E-MAIL:11247931@qq.com