怎么查看网站日志看蜘蛛（怎么查看网站日志看蜘蛛网的记录）

本篇文章给大家谈谈怎么查看网站日志看蜘蛛，以及怎么查看网站日志看蜘蛛网的记录对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。

本文目录一览：

• 1、如何查看百度蜘蛛爬行记录
• 2、如何查看蜘蛛日志
• 3、怎么查看蜘蛛有没有来过网站
• 4、怎么从网站log日志判断百度蜘蛛来过
• 5、如何查看网站日志中搜索引擎蜘蛛的来访记录
• 6、谁能告诉我怎样看百度蜘蛛有没有爬过我们的网站。

如何查看百度蜘蛛爬行记录

查看百度蜘蛛爬行记录的方法：

第一，前往空间服务器，下载网站日志。

第二，打开网站日志文件，搜索：Baiduspider。

百度（Baidu）爬虫名称：Baiduspider

第三，鉴别百度蜘蛛的真伪。

由于很多站长工具会模拟百度蜘蛛的名称来爬抓网站，因此，需要我们鉴别百度蜘蛛的真伪。

鉴别方法：

开始—运行—输入 cmd ，用命令nslookup +ip

只要是百度的IP段，代码中会有出现：name：baiduspider，如果没有出现，那就不说不是真的百度IP段

第四，可以通过日志工具来查看网站日志。例如：光年日志。

如何查看蜘蛛日志

网站日志，是服务器端自动生成的一个文本记录，详细记载了网站的访问详情，做为站长的你，如果是需要查看访问统计数据，那用51.la或者百度统计 工具就可以了，但是如果你想查看各搜索引擎的蜘蛛是否准时来爬行自己的网站，那就要学会自己查看网站日志文件了。结合我们自己的网站做为一个实例来做一个介绍：

首先利用FTP工具登录服务器端，一般在服务器根目录之下存在一个logs文件夹，这里面装的就是网站日志，当然不同的服务器类型，日志文件的文件夹名称和我介绍的不一样，但没关系，日志文件的扩展名是log。

日志中蜘蛛的访问行为

进入日志文件夹，你会发现，日志文件是按每一天的访问情况为一个文件保存的：

日志中蜘蛛的访问行为

好吧，我的服务器只保留最近三天的日志文件，真小气，我还用过一个国外的服务器，人家是按月记录，并且当月结束后会将当月的日志打包供下载，只要你不人为删除，该日志文件会永远存在，这才叫个性化，但是没办法，谁叫我们只能用国内的服务器。

OK，报怨了几句，随便下载一天的日志文件，用Windows文本工具打开该日志文件，会看到一堆酷似代码的字符，祝文件大小打开速度也不同：

日志中蜘蛛的访问行为

注意看有背景的这一小部分，我用CTRL+F搜索功能查找baiduspider，好吧，为什么要查找baiduspider，这里先普及一下关于搜索引擎蜘蛛的一点小知识，各大搜索引擎的蜘蛛都有名字：

百度的叫baiduspider;

谷歌的叫Googlebot;

微软的叫bingbot;

搜狐的叫Sogou web spider;

腾讯的叫Sosospider;

因为国内主要是以百度为优化对象，我们来看看关于百度蜘蛛爬行记录的信息分析，在日志记录中随便找一个百度蜘蛛的信息：

125.90.88.96 - - [07/Sep/2012:19:16:21 +0800] "GET / HTTP/1.1" 200 5374 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +)"

怎么解读这些信息呢？蜘蛛IP--【访问时间】“获取路径”HTTP反馈值200 反馈字节数5357 百度蜘蛛标记。

好吧，这里面获取路径与HTTP反馈值是非常重要的信息，200为正常读取，读取了5374个字节。我们再分析一条记录：

220.181.51.118 - - [07/Sep/2012:09:54:15 +0800] "GET /product/disp.php?id=93 HTTP/1.1" 301 249 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +)"

认真看获取路径这一项，因为我的网站是老域名，原来的主人被收录的路径/product/disp.php?id=93，百度蜘蛛同样爬行，结果我的 新网站里肯定不会有这一条信息，由于HTTP反馈了301，而301代表已移动 — 请求的数据具有新的位置且更改是永久的。其实这对于我来说是一件好事，蜘蛛爬行不通，知道这条收录记录已经失效，慢慢就会从百度的收录数据库中删除。现在 百度正在审核我的新站点，一天爬行只有23次，也很不错了的。

好了，大家是不是可以举一反三的学会看其它搜索引擎蜘蛛的爬行记录了呢？下次，笔者将重点再分享一下HTTP的反馈值，大家通过这个反馈值可以获悉自己网站的健康状态哦，非常重要。

当然，有朋友会说为什么不利用一些日志查看工具，人工手动察看费时费力，是的，有些不错的工具可以提供更便捷的操作，今天笔者所述内容旨在用最初级的方法教会大家学会察看自己网站的日志。希望以上内容能对你有点帮助。

怎么查看蜘蛛有没有来过网站

1、通过工具来查看，比如百度站长平台可以查看蜘蛛的抓取时间、抓取频率

2、你可以通过最直接的方法，就是查看网站的日志，里面有很详细的关于网站的一切记录，不管是来自哪里的蜘蛛（百度蜘蛛、搜狗蜘蛛等），可以看到蜘蛛来自哪里，抓取时间是什么时候，抓取了多少次，浏览过哪些地方，这是最为详细的方法。

怎么从网站log日志判断百度蜘蛛来过

那么我们如何判断百度蜘蛛来过呢？答案是要根据网站log日志，如果百度蜘蛛来过那么网站log日志中会有相关记录。一个是百度蜘蛛名字 Baiduspider，一个是百度蜘蛛ip，这两点要综合考虑才能正确分析，下面我们说说具体如何操作。

1、先确认log日志对客户端访问机器名以及访问ip进行了记录。

如果没有记录这两项就没有Baiduspider字样显示，也没有百度蜘蛛IP记录。可以问下你虚拟主机的空间商，如何设置日志记录蜘蛛踪迹，如何下载下来日志，客服会详细告诉你。

2、下载网站log日志，可记事本打开文件，用查找 找 Baidu，字样并记录，各条数据IP。

因为有些站是仿百度蜘蛛来访问你的网站，他们名字也起的是Baiduspider，所以，为了避免被迷惑，我们还要根据IP进行反查，来确定这些IP对应的服务器名。下面是一些log日志中含Baiduspider的记录：

123.125.71.26 - - [14/Feb/2014:01:03:29 +0800] "GET / HTTP/1.1" 200 10599 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +)"

123.125.71.41 - - [14/Feb/2014:07:04:36 +0800] "GET / HTTP/1.1" 200 10599 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +)"

220.181.108.117 - - [14/Feb/2014:01:03:49 +0800] "GET / HTTP/1.1" 200 10599 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +)"

220.181.108.100 - - [14/Feb/2014:07:05:14 +0800] "GET / HTTP/1.1" 200 10599 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +)"

117.28.255.53 - - [14/Feb/2014:08:30:11 +0800] "GET / HTTP/1.1" 200 4111 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +)"

60.172.229.61 - - [14/Feb/2014:09:37:56 +0800] "GET / HTTP/1.1" 200 4123 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +)"

3、点“开始” “运行”  》 输入cmd 点“确认”  进入命令行模式，在命令行模式 输入 nslookup 回车 进入反查操作。输入你记录的百度蜘蛛ip 回车 看是否返回百度蜘蛛相关信息。如果返回就证明是百度蜘蛛；如果没有，证明是其他站仿的百度蜘蛛。

如何查看网站日志中搜索引擎蜘蛛的来访记录

网站日志可在服务器端下载，文件后缀名为.log

下载下来后可用爱站工具包进行日志分析，可以分析出蜘蛛爬取的网站目录、网站页面、蜘蛛ip

但是免费用户只能查看日志文件20M以下的。

谁能告诉我怎样看百度蜘蛛有没有爬过我们的网站。

1.要观察百度蜘蛛的爬行记录，最好的办法是通过查看网站日志。

2.只要你的网页被访问过，不管是人还是百度蜘蛛、或者其他搜索引擎蜘蛛。网站日志中都可以把它记录下来。正规的网站空间一般提供网站日志服务。网站日志的下载可以通过ftp。具体的目录可以咨询网站空间商。比较常见的目录有：www_logs、logs等。

3.如果网站空间不提供网站日志服务，你应该考虑更换网站空间了。因为这是最基本的网站空间服务。如果连网站日志记录功能都没有，说明空间质量肯定不会很高。

另外，如果你的网页是php动态的。即网页后缀为php。我们也可以安装一组查看蜘蛛的代码，来实时记录百度蜘蛛的爬行记录。

关于怎么查看网站日志看蜘蛛和怎么查看网站日志看蜘蛛网的记录的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。