通过Nginx日志分析百度蜘蛛的爬行抓取情况

做网站 SEO优化的朋友会特别关注蜘蛛爬行的次数、频率等,而做好网站优化的第一步就是首先让蜘蛛爬虫经常来你的网站进行光顾,如果蜘蛛爬行出现异常怎么办?下面将结合 Linux 系统中的几个 Linux 命令,如 cat 命令 \grep 命令 \awk 命令等可以让你清楚的知道蜘蛛的爬行情况。

seo_sem_marketing_optimization_business_web_internet_search-878753.jpg

下面我们针对 ng­inx 服务器进行分析,日志文件所在目录:/usr/local/nginx/logs/access.logaccess.log 这个文件记录的应该是最近一天的日志情况,首先请看看日志大小,如果很大 (超过 50MB) 建议别用这些命令分析,因为这些命令很消耗 CPU,或者更新下来放到分析机上执行,以免影响网站的速度。

Shell命令

1、百度蜘蛛爬行的次数

cat access.log | grep Baiduspider | wc

2、百度蜘蛛的详细记录 (Ctrl C 可以终止)

cat access.log | grep Baiduspider

也可以用下面的命令:

cat access.log | grep Baiduspider | tail -n 10
cat access.log | grep Baiduspider | head -n 10

只看最后 10 条或最前 10 条,这用就能知道这个日志文件的开始记录的时间和日期。

3、百度蜘蛛抓取首页的详细记录

cat access.log | grep Baiduspider | grep "GET / HTTP"

百度蜘蛛好像对首页非常热爱每个钟头都来光顾,而谷歌和雅虎蜘蛛更喜欢内页。

4、百度蜘蛛派性记录时间点分布

cat access.log | grep "Baiduspider" | awk '{print $4}'

5、百度蜘蛛爬行页面按次数降序列表

cat access.log | grep "Baiduspider" | awk '{print $7}' | sort | uniq -c | sort -r

文中的 Baiduspider 改成其它蜘蛛名称,例如改成 Googlebot 就可以查看谷歌的数据,国内主要以百度蜘蛛的爬行日志为主。

关于通过Nginx日志分析百度蜘蛛的爬行抓取情况的相关内容;如有侵权,请联系老文删除。

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
老文的头像老文
上一篇 2021年8月25日 上午12:49
下一篇 2021年8月25日 下午7:53

相关推荐

  • 宝塔挂载磁盘教程

    本文中的磁盘/dev/sdb为笔者测试服务器上的命名,在您的服务器中可能是/dev/xdb、/dev/vdb、/dev/xvdb等等请根据实际情况进行修改 1、创建挂载目录(www为宝塔默认安装目录) mkdir -p /www 2、确认是否没有分区的磁盘,如下图,没有分区的磁盘是/dev/sdb,在您的服务器中可能是/dev/vdb,请注意按照实际名称修改…

    2023年2月5日 建站知识
    562
  • 如何找回宝塔面板登录链接以及宝塔的登录账号和密码

    宝塔BT面板设置好的安全入口后缀忘记了怎么办?老文笔记分享找回宝塔登录地址的方法: 找回宝塔登录地址的方法 如何找回宝塔面板的登录地址?很简单,一条命令即可搞定,不仅可以找到宝塔登录地址,还可以找回登录账号和密码,详细方法如下:1、ssh登录到你的服务器,命令:ssh root@你的服务器ip;2、执行命令:/etc/init.d/bt default 即可…

    2021年9月15日
    1.5K
  • 网站数据库经常无故暂停的问题排查和解决方案

    遇到一个朋友,估摸着也是才开始学习搭建网站的。而且他心还是比较大的,选择到一台云服务器,然后一骨碌搭建四五个网站。于是出现的故障也随之而来,他这几天网站每天都有好几次出现数据库连接不上的问题,需要重启数据库才可以恢复。 像这种数据库经常无故暂停的问题也是常有的。这个到底是什么问题影响的呢,有没有解决办法。 第一、服务器的利用率 这个同学一台1G内存的服务器,…

    2022年3月26日
    589
  • 怎样批量替换WordPress文章中的文字

    批量替换WordPress文章中的文字 如果准备替换修改散布在大量WordPress文章中的相同文字,手动编辑文章修改工作量大,可以用下面的代码实现批量替换,会用到WordPress的操作数据常量$wpdb修改数据库,不需要登录数据库操作。 将代码添加到当前主题函数模板functions.php的最后: global $wpdb; $wpdb->que…

    2022年2月12日
    770
  • Teambition 网盘服务即将下线,附上数据迁移到阿里云盘方法

    阿里巴巴近日宣布,由于 Teambition 业务方向调整,并于2021 年 9 月 30 日下线 Teambition 「网盘」服务,个人云存储业务转为同一团队研发的「阿里云盘」承接,Teambition 网盘和阿里云盘将实现数据合并。 如何进行数据迁移 1、登录阿里云盘网页版(点此登录);(阿里云盘 App 没有迁移入口) 2、登录后,在阿里云盘 web…

    2021年9月5日
    564