通过Nginx日志分析百度蜘蛛的爬行抓取情况

做网站 SEO优化的朋友会特别关注蜘蛛爬行的次数、频率等,而做好网站优化的第一步就是首先让蜘蛛爬虫经常来你的网站进行光顾,如果蜘蛛爬行出现异常怎么办?下面将结合 Linux 系统中的几个 Linux 命令,如 cat 命令 \grep 命令 \awk 命令等可以让你清楚的知道蜘蛛的爬行情况。

seo_sem_marketing_optimization_business_web_internet_search-878753.jpg

下面我们针对 ng­inx 服务器进行分析,日志文件所在目录:/usr/local/nginx/logs/access.logaccess.log 这个文件记录的应该是最近一天的日志情况,首先请看看日志大小,如果很大 (超过 50MB) 建议别用这些命令分析,因为这些命令很消耗 CPU,或者更新下来放到分析机上执行,以免影响网站的速度。

Shell命令

1、百度蜘蛛爬行的次数

cat access.log | grep Baiduspider | wc

2、百度蜘蛛的详细记录 (Ctrl C 可以终止)

cat access.log | grep Baiduspider

也可以用下面的命令:

cat access.log | grep Baiduspider | tail -n 10
cat access.log | grep Baiduspider | head -n 10

只看最后 10 条或最前 10 条,这用就能知道这个日志文件的开始记录的时间和日期。

3、百度蜘蛛抓取首页的详细记录

cat access.log | grep Baiduspider | grep "GET / HTTP"

百度蜘蛛好像对首页非常热爱每个钟头都来光顾,而谷歌和雅虎蜘蛛更喜欢内页。

4、百度蜘蛛派性记录时间点分布

cat access.log | grep "Baiduspider" | awk '{print $4}'

5、百度蜘蛛爬行页面按次数降序列表

cat access.log | grep "Baiduspider" | awk '{print $7}' | sort | uniq -c | sort -r

文中的 Baiduspider 改成其它蜘蛛名称,例如改成 Googlebot 就可以查看谷歌的数据,国内主要以百度蜘蛛的爬行日志为主。

关于通过Nginx日志分析百度蜘蛛的爬行抓取情况的相关内容;如有侵权,请联系老文删除。

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
老文的头像老文
上一篇 2021年8月25日 上午12:49
下一篇 2021年8月25日 下午7:53

相关推荐

  • 宝塔面板无法下载打包大文件怎么办?

    我们可能会遇到在宝塔面板打包了文件后,下载直接显示失败且面板直接强退的情况。 下载报错提示 咱们在下载服务器大文件的时候经常遇到这样的问题,所以有些老师傅会告诉我们去升级宽带后再进行下载操作,事实上我们可以使用外链分享下载,如下图: 外链分享 使用该功能生成的链接不受服务器影响,下载速度也会快很多。

    2024年7月31日
    107
  • 怎样挖掘长尾词?目标关键词和长尾关键词的区别?

    怎样挖掘长尾词?目标关键词和长尾关键词的区别? 目标关键词 你的目标客户最可能使用和搜索的关键词,我们往往用首页来优化它们。 目标关键词一般作为网站首页的标题,以是2-4个字构成的一个词或词组,名词居多,网站的主要内容需围绕网站产品和服务来设定,网站的主要内容围绕目标关键词展开。 一般通过百度指数和竞争对手分析,确定目标关键词。 长尾关键词 长尾关键词是指网…

    2022年5月13日
    323
  • WordPress程序SEO优化方法

    WordPress是一款对搜索引擎非常友好的程序,用这款程序,只要内容不存在问题,就不用担心网站收录的问题。 下面主要介绍使用这款程序时要进行的一些操作。 第一步:添加SEO插件 推荐插件:platinum-seo-pack,可以通过百度搜索获得最新版本的下载地址以及相关指南。下载后,解压,把文件通过FTP上传到 /wp-content/plugins/ 这…

    2022年5月13日 建站知识
    298
  • 怎么升级flarum论坛所有的插件?

    最近我要配置一个封禁IP的插件,一直提醒我Flarum的内核版本过低,需要设置1.8.3。   安装插件报错,提醒升级论坛内核版本 而我正好要升级Flarum论坛的所有插件,所以我是按以下步骤进行的: 1.升级前的准备 备份网站数据和数据库。这是非常重要的步骤,以防止在升级过程中发生任何数据丢失。 停用所有安装的第三方插件。特别是那些你自己安装的、…

    2024年7月31日
    87
  • Nginx常用屏蔽规则,让网站更安全

      引言 Ng­inx (en­gine x) 是一个高性能的 HTTP 和反向代理服务,目前很大一部分网站均使用了 Ng­inx 作为 WEB 服务器,Ng­inx 虽然非常强大,但默认情况下并不能阻挡恶意访问,这里有一份常用的 Ng­inx 屏蔽规则,希望对你有所帮助。 在开始之前,希望您已经熟悉 Ng­inx 常用命令(如停止、重启等操作)及…

    2021年8月25日
    547