快速学会网站蜘蛛日志分析(蜘蛛日志分析工具)

未知 次数

快速学会网站蜘蛛日志分析(蜘蛛日志分析工具)

网站中的蜘蛛日志是搜索引擎优化的一个关键部分,我们对此进行了详细的研究,根据我们对该网站的蜘蛛日志进行了统计:我们发现,我们的网站上有几只被抓到的蜘蛛?你能抓取到多少?是不是没有抓取到?怎么会没有抓住呢?到底是为什么?有没有怀疑过有关于这个网站的信息!这是SEO的关键,我们将在这里进行具体的解释。

在哪儿可以获得网站的蜘蛛日志?

如果您是一个虚拟的主机,您可以使用FTP链接这个地址,“Log目录”中有您的蜘蛛日志,没有的可以咨询您的空间代理,WDCP面板,宝塔面板,您必须在“Catalog”中将您的网站蜘蛛日志从“目录”中下载,若使用WindowsServer,则在“BtSoft\WebSoft\apache\logs”的文件夹中查找!而且,蜘蛛日记的末尾都是“.log”,你把“_log”放到当地,就可以改成“.log”了!

使用什么软件分析网站蜘蛛日志?

我们经常会用到两种不同的蜘蛛日志软件,一种是网上的“日志分析工具”,另一种是“光年日志分析软件”,这两种都是很好的分析工具,我们经常会同时使用,效果很好!

如何识别蜘蛛都来自哪些搜索引擎

以下是我用Notepad++软件在网页上的记录,在下方有一个详细的注释,根据“蜘蛛类型”来判断,该蜘蛛是从哪里来的!

Baiduspider蜘蛛类型:就是百度蜘蛛,针对的是百度搜索引擎的抓取

Googlebot蜘蛛类型:就是Googlebot蜘蛛,针对的是谷歌搜索引擎的抓取

Sogou蜘蛛类型:就是搜狗蜘蛛,针对的是搜狗搜索引擎的抓取

360Spider蜘蛛类型:就是360蜘蛛,针对的是360搜索引擎的抓取

我们可以用光年日志工具来分析蜘蛛的抓取数据,非常直观!

网站蜘蛛返回状态码解析

蜘蛛返回状态码,也就是上图的“蜘蛛返回状态码”,根据不同的返回状态码,我们可以分析出抓取成功、抓取未成功、是什么原因造成的等等信息,下面举出各类状态码所代表的意思!

200:代表搜索引擎蜘蛛访问成功;同时代表抓取成功。

404:代表页面无法访问;蜘蛛访问页面未找到资源。

410:代表请求的资源已永久删除,蜘蛛抓取资源被永久性删除。

301:代表页面跳转;表示蜘蛛抓取资源时,我们的链接进行了跳转。

403:状态码表示服务器拒绝请求。
应该检查robots或者服务器访问权限。

500:(服务器内部错误)服务器遇到错误,服务器很不稳定造成的。

一般而言,蜘蛛状态码我们用在线工具“logohao。

com”来查看比较方便!

当然也可以用光年日志分析软件进行分析蜘蛛抓取状态码!

如何查看蜘蛛抓取了那些链接目录

链接与目录,我们通过上图的“蜘蛛抓取目录”可以分析出来,比如“/robots.txt”就是我们的“域名/robots.txt”我们通过光年日志进行分析比较直观一些!我们可以通过点击光年日志左边的“目录抓取”、“页面抓取”来进行查看分析!

通过IP段分析蜘蛛类型

IP段是指上图中的“蜘蛛IP”,这个IP代表的意思非常多,有降权蜘蛛,沙盒蜘蛛,高权重蜘蛛,低权重蜘蛛等等,通过蜘蛛IP段我们可以分析出我们网站的整体质量,下面来详细讲解下!

123.125.68.*:这只蜘蛛来得比较频繁,其他的都很少见,说明这是一个沙盒,或者是被降权了。

220.181.68.*:此IP蜘蛛片段每日仅增加不减少,极有机会进入到沙盒或K站。

220.181.7.*,123.125.66.*:访问您的百度的IP蜘蛛地址,随时可以获取您的信息。

121.14.89.*:此ip蜘蛛分段被用来进行新站考察期。

203.208.60.*:当新的网站和网站发生异常后,此ip片段会发生。

210.72.225.*:此ip区段在各个网站之间不停地巡视。

220.181.108.*:我敢肯定,您的网站每天都会有一张一张的截图。

220.181.*:这篇文章或首页在权重IP蜘蛛段上几乎24个小时都会出现。

123.125.71.106:在网页中蜘蛛抓取到的内容,权重比较小,不能快速浏览网页内容,因为不是原创或采集的。

220.181.108.91:属于综合类,首页和内页,是一个有权威性的IP页面。

我们用"loghao"。

通过对博客的日志分析,我们可以更好的了解到这一点!

我们的课就到此了,如果你能从中学习到很多东西,可以加入我们SEO实战训练,我们拥有一种非常实用的技术,其中包含了“网站的搭建-》,排名-》成交转化-》项目包装”等这一些列的教程内容,价格非常优惠,课程通俗易懂,同时也包售后这一块!