通过Nginx日志分析百度蜘蛛的爬行抓取情况

做网站 SEO优化的朋友会特别关注蜘蛛爬行的次数、频率等,而做好网站优化的第一步就是首先让蜘蛛爬虫经常来你的网站进行光顾,如果蜘蛛爬行出现异常怎么办?下面将结合 Linux 系统中的几个 Linux 命令,如 cat 命令 \grep 命令 \awk 命令等可以让你清楚的知道蜘蛛的爬行情况。

seo_sem_marketing_optimization_business_web_internet_search-878753.jpg

下面我们针对 ng­inx 服务器进行分析,日志文件所在目录:/usr/local/nginx/logs/access.log,access.log 这个文件记录的应该是最近一天的日志情况,首先请看看日志大小,如果很大 (超过 50MB) 建议别用这些命令分析,因为这些命令很消耗 CPU,或者更新下来放到分析机上执行,以免影响网站的速度。

Shell命令

1、百度蜘蛛爬行的次数

cat access.log | grep Baiduspider | wc

2、百度蜘蛛的详细记录 (Ctrl C 可以终止)

cat access.log | grep Baiduspider

也可以用下面的命令:

cat access.log | grep Baiduspider | tail -n 10
cat access.log | grep Baiduspider | head -n 10

只看最后 10 条或最前 10 条,这用就能知道这个日志文件的开始记录的时间和日期。

3、百度蜘蛛抓取首页的详细记录

cat access.log | grep Baiduspider | grep "GET / HTTP"

百度蜘蛛好像对首页非常热爱每个钟头都来光顾,而谷歌和雅虎蜘蛛更喜欢内页。

4、百度蜘蛛派性记录时间点分布

cat access.log | grep "Baiduspider" | awk '{print $4}'

5、百度蜘蛛爬行页面按次数降序列表

cat access.log | grep "Baiduspider" | awk '{print $7}' | sort | uniq -c | sort -r

文中的 Baiduspider 改成其它蜘蛛名称,例如改成 Googlebot 就可以查看谷歌的数据,国内主要以百度蜘蛛的爬行日志为主。

关于通过Nginx日志分析百度蜘蛛的爬行抓取情况的相关内容;如有侵权,请联系老文删除。

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
老文的头像老文
上一篇 2021年8月25日 上午12:49
下一篇 2021年8月25日 下午7:53

相关推荐

  • WordPress解决文章ID不连续的问题

    WordPress文章ID不连续题是一个很正常的现象,不是你的博客出了问题,而是WordPress系统默认的,不用在意忽略它。 但是对于有着轻微强迫症,追求完美的朋友来说,这的确很让人讨厌。 在WordPress后台并没有直接的提供关闭这个功能的选项,那么该如何解决文章ID不连续的问题呢?今天就比格给大家讲讲如何把这个功能完完全全的隐蔽掉。 找到当前主题目录…

    2021年11月2日
    507
  • 怎样批量替换WordPress文章中的文字

    批量替换WordPress文章中的文字 如果准备替换修改散布在大量WordPress文章中的相同文字,手动编辑文章修改工作量大,可以用下面的代码实现批量替换,会用到WordPress的操作数据常量$wpdb修改数据库,不需要登录数据库操作。 将代码添加到当前主题函数模板functions.php的最后: global $wpdb; $wpdb->que…

    2022年2月12日
    854
  • WordPress中不用的图片怎么删除

    默认情况下,WordPress 会将你上传的图片自动生成几种不同大小的缩略图,但是有些WordPress主题根本就不会调用这些缩略图,它们就成了多余的啦。那么,如何才能快速删除这些已经生成的缩略图呢?建议试试DNUI(Delete not used image)插件。 DNUI Delete not used image介绍及使用方法 Delete not …

    2023年1月4日
    225
  • 宝塔面板快速安装fileinfo组件支持方法

    有些程序的特殊性,需要各种组件支持才可以安装。前几天一个网友提到在使用宝塔面板,问如何安装fileinfo扩展支持。在这篇文章中正好有帮助这个网友解决在宝塔面板中安装fileinfo的过程,所以记录下来,以便有需要的同学看到之后参考使用。 第一、准备安装 登入当前宝塔面板,进入当前需要安装fileinfo扩展的PHP目录管理。 第二、安装扩展 在安装扩展菜单…

    2021年8月12日
    577
  • 腾讯云轻量应用服务器云硬盘挂载教程(挂载释放后才能用)

    前言:之前作者买的腾讯云的轻量应用服务器无忧套餐,无忧套餐顾名思义,使用无忧续费同价,良心云名不虚传,但是我买的是低配的硬盘只有50G,考虑到目前的数据增长情况,这个硬盘大小是不够的,比较好的是在用户的呼声下,轻量的产品经理安排上线了轻量的云硬盘,解决了容量不够这一个大问题,必须点赞。下面大家就跟着我的思路来进行硬盘挂载吧。 首先你要在腾讯云控制台,把硬盘挂…

    2022年11月12日
    279