通过Nginx日志分析百度蜘蛛的爬行抓取情况

做网站 SEO优化的朋友会特别关注蜘蛛爬行的次数、频率等,而做好网站优化的第一步就是首先让蜘蛛爬虫经常来你的网站进行光顾,如果蜘蛛爬行出现异常怎么办?下面将结合 Linux 系统中的几个 Linux 命令,如 cat 命令 \grep 命令 \awk 命令等可以让你清楚的知道蜘蛛的爬行情况。

seo_sem_marketing_optimization_business_web_internet_search-878753.jpg

下面我们针对 ng­inx 服务器进行分析,日志文件所在目录:/usr/local/nginx/logs/access.log,access.log 这个文件记录的应该是最近一天的日志情况,首先请看看日志大小,如果很大 (超过 50MB) 建议别用这些命令分析,因为这些命令很消耗 CPU,或者更新下来放到分析机上执行,以免影响网站的速度。

Shell命令

1、百度蜘蛛爬行的次数

cat access.log | grep Baiduspider | wc

2、百度蜘蛛的详细记录 (Ctrl C 可以终止)

cat access.log | grep Baiduspider

也可以用下面的命令:

cat access.log | grep Baiduspider | tail -n 10
cat access.log | grep Baiduspider | head -n 10

只看最后 10 条或最前 10 条,这用就能知道这个日志文件的开始记录的时间和日期。

3、百度蜘蛛抓取首页的详细记录

cat access.log | grep Baiduspider | grep "GET / HTTP"

百度蜘蛛好像对首页非常热爱每个钟头都来光顾,而谷歌和雅虎蜘蛛更喜欢内页。

4、百度蜘蛛派性记录时间点分布

cat access.log | grep "Baiduspider" | awk '{print $4}'

5、百度蜘蛛爬行页面按次数降序列表

cat access.log | grep "Baiduspider" | awk '{print $7}' | sort | uniq -c | sort -r

文中的 Baiduspider 改成其它蜘蛛名称,例如改成 Googlebot 就可以查看谷歌的数据,国内主要以百度蜘蛛的爬行日志为主。

关于通过Nginx日志分析百度蜘蛛的爬行抓取情况的相关内容;如有侵权,请联系老文删除。

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
老文的头像老文
上一篇 2021年8月25日 上午12:49
下一篇 2021年8月25日 下午7:53

相关推荐

  • wordpress程序优化指南

    wordpress优化指南是什么? wordpress毫无疑问是一个优秀的博客系统,其最吸引人的一个特点就是有大量的外观主题(theme)可以满足个性化的博客展示需求。 但可惜的是,目前wordpress主题中95%以上是外国人写的,其设计是基于西方文字的,中国的blogger将这些主题拿来用在中文博客上时,会有很多不如意的地方;另外别人的主题也很难满足自己…

    2021年8月12日
    675
  • 数据库MySQL服务状态经常崩溃停止,一个自动化命令就可以解决

    我们建站的时候经常会碰到数据库崩溃停止的情况,可以使用 Shell 脚本来检测 MySQL 服务状态并在需要时重启它。以下是一个简单的 Shell 脚本示例,它会检查 MySQL 服务是否运行,如果服务停止,脚本将尝试重启服务。   通用方案 编写脚本:创建一个脚本文件,例如 restart_mysql.sh,并编写以下内容: 代码语言:bash …

    2024年7月31日
    368
  • WordPress网站优化插件youpzt-optimizer,给网站提速70%

    很多用WordPress程序的站长朋友觉得现在wordpress越来越慢了!排除主机配置因素不谈,还有不少原因影响网站加载速度: 谷歌被墙,谷歌字体长时间加载不下来; Gravatar头像加载缓慢,或加载失败; 使用代码书写不规范或代码质量差的主题或者插件; 加载了没有必要的文件或垃圾数据; WordPress程序版本检查更新 …… 所以就制作了一个网站优化…

    2023年1月4日
    231
  • 电脑版鼠标自动点击器,带录制功能

    鼠标点击器,是一款很好用的绿色软件,占用空间小,操作方便,可以用于日常需要鼠标自动点击的操作中(带录制功能的鼠标自动点击器)。 主要功能: 1,录制鼠标操作记录 2,自动设置重复播放录制,可以无限次重播,也可以按次数重播鼠标操作。 优点:方便简洁,易操作,功能完善。 下载地址:https://wwa.lanzoui.com/i6GMYt3b3fg 密码:we…

    2021年8月24日
    1.2K
  • WordPress主题存放在哪个文件夹?怎样快速删除WordPress主题?

    WordPress主题存放在哪个文件夹?今天老文遇到一个网友问到这个问题。我们都知道WP程序是一款后端程序,所有的功能都通过主题和插件实现的,程序有单独的存储主题的位置,我们只需要在对应的位置放上主题即可在后台激活当前主题使用。 1、WordPress主题存放文件夹 WordPress主题存放在 “wp-content/themes/&#8221…

    2022年4月3日
    556