如何知道百度蜘蛛是否爬过我的网站

发布网友发布时间：2022-04-27 06:44

共3个回答

热心网友时间：2022-06-27 22:26

这里介绍通过看日志来了解百度蜘蛛是否来过：很多网站目前使用的都是虚拟空间，都能够提供日志。日志是指在网站根目录下的logfiles文件夹里面日期.txt文本文件。下载到本地，用记事本打开.txt文本，一般百度蜘蛛代码是“spider”，我们可以查找下文档中是否存在“spider”，如果存在，看下里面的代码：2010-04-19 21:06:44 W3SVC725 58.221.29.72 GET /robots.txt - 80 - 220.181.7.14 Baispider+(+http://www.baidu.com/search/spider.htm) 200 0 0 305 209。下面我来解释下这段代码：

1、2010-04-19 21:06:44是日期，也就是蜘蛛来的日期和时间了。

2、 GET /robots.txt 访问的页面 get表示获取

3、80是端口

4、220.181.7.14是蜘蛛的ip地址

5、Baispider+(+http://www.baidu.com/search/spider.htm)是百度蜘蛛了

6、200表示抓取成功。有时会出现其他代码如：404 - 请求的网页不存在；503 - 服务器暂时不可用

如果你还想知道有没有其它搜索引擎的蜘蛛来过你的站，你可以在日志文件中搜索“spider”这个词，或者搜索蜘蛛的IP，例如Soso的蜘蛛“sosospider”，可以查看Soso的蜘蛛是否来过。

热心网友时间：2022-06-27 22:26

看日志

热心网友时间：2022-06-27 22:27

百度上搜你的网站看看