发布网友 发布时间:2022-05-23 19:03
共3个回答
热心网友 时间:2023-11-11 02:47
Disallow: /404.html 只是说不让蜘蛛访问404页面热心网友 时间:2023-11-11 02:47
这个404是服务器自动生成的,如果你真的不想404抓去的话,建议检查网站内容,是否有死链接。追问很多图片返回404 是什么意思?论坛里别人发帖子 插入图了 这种它也404 怎么处理?总不能别人发一帖 我就去修改 做个诠释吧。
热心网友 时间:2023-11-11 02:47
我只知道返回200 0 0是正常抓取!追问谢谢,这个我也知道,我现在只是想知道,为什么我屏蔽了404,引擎还是会抓取404的页面。