百度蜘蛛捕捉不存在目录 对应的解决方法
发布时间：2023-05-12 12:38:23 所属栏目：优化 来源：
导读：相信大家经常在分析百度蜘蛛日志的时候会发现这样一个问题，就是百度蜘蛛经常会抓取一些不存在的目录，比如：我网站没有这些目录，但是百度蜘蛛一直在抓取，或者你会发现百度蜘蛛在抓取自己的隐私目录，或者说php文件
|
相信大家经常在分析百度蜘蛛日志的时候会发现这样一个问题，就是百度蜘蛛经常会抓取一些不存在的目录，比如：我网站没有这些目录，但是百度蜘蛛一直在抓取，或者你会发现百度蜘蛛在抓取自己的隐私目录，或者说php文件，这个是为什么呢？今天就为大家进行详细解析，讲解对应的解决办法，本篇文章干货较多，建议仔细阅读。 1，如果蜘蛛只抓取首页，打死不抓取内页，是什么情况！很简单，域名有问题，一般来讲，如果遇到这种情况，域名目前可能在审核期，也就是说，做过违规行业，或者你的程序有作弊的嫌疑，但是域名的占比较大，如果程序有问题，其实百度蜘蛛也会抓取一些的。 2，如果百度蜘蛛抓取一些隐私文件，例如php、zip、rar什么情况！对于这种情况，你要去判断当前这个IP是不是假蜘蛛文件，因为现在很多IP会自动更改自己的UA，跟百度蜘蛛一样，你无法从蜘蛛日志中分辨，你可以去识别一下IP，通过ip138看看是不是蜘蛛IP，如果不是，果断屏蔽掉，如果太多，按照IP段进行屏蔽。 3，如果百度蜘蛛抓取一些隐私目录，真蜘蛛的情况下，怎么处理。如果你确认是真的百度蜘蛛，百度可能是在捕捉你的网站内部程序，考察你用的程序的版本等，这些百度都会有分辨策略的，一般来讲，自己编写的程序，百度都会优先给予高评分，是这样的。我们为了防止蜘蛛抓取我们的隐私目录，我们一般都会用robots.txt进行屏蔽，记住：生效时间24小时左右。 4，如果蜘蛛抓取一些不存在的目录，一些不存在的文件，怎么办？ 首先依然是判断是否是真蜘蛛，如果是真蜘蛛，百度抓取一些不存在的目录，是因为，你这个域名之前做过一些站点，现在又开始做，百度会根据之前的评分、URL进行抓取，看看是不是之前的站点又恢复了，一般来讲，这种抓取会在30天内自动消失的，如果30天后一直存在，你就要选择性屏蔽这类文章的链接了，总之：这种抓取对于你的站点，没有太大的伤害，只是排查而已。 （编辑：汽车网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
推荐文章
站长推荐
