问下robots.txt 的问题,关于Disallow 这个标签的

发布网友发布时间：2022-08-26 04:37

共3个回答

热心网友时间：2024-04-03 04:28

User-agent: * 是指针对所有搜索引擎
Disallow: .aspx$ 是指禁止爬行以 .aspx 结尾的网址

这2句话综合起来的意思——对所有搜索引擎，不允许他们爬行网站中以.aspx结尾的网页

热心网友时间：2024-04-03 04:28

针对网络蜘蛛的定义文件，*访问权限的东西。
User-agent: * 所有的爬虫
Disallow: .aspx$
.aspx 结尾的网址

热心网友时间：2024-04-03 04:29

User-agent: *
允许所有搜索引擎的爬虫访问你的网站
Disallow: .aspx$
不允许爬虫访问后缀名为aspx的文件

声明：本网页内容为用户发布，旨在传播知识，不代表本网认同其观点，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。E-MAIL:11247931@qq.com