怎样让网站页面内容不被抓取？ 五个不让网站页面内容不被抓取的技巧
发布时间：2023-03-22 10:59:04 所属栏目：搜索优化 来源：
导读：可能有的朋友会奇怪，网站的页面不是让搜索引擎抓取的越多越好吗，怎么还会有怎么让网站页面内容不被抓取的想法。
首先，一个网站可以分出去的权重是有限的，哪怕是Pr10的站，也不可能无限的分权重出去。这些权重
首先，一个网站可以分出去的权重是有限的，哪怕是Pr10的站，也不可能无限的分权重出去。这些权重
|
可能有的朋友会奇怪，网站的页面不是让搜索引擎抓取的越多越好吗，怎么还会有怎么让网站页面内容不被抓取的想法。 首先，一个网站可以分出去的权重是有限的，哪怕是Pr10的站，也不可能无限的分权重出去。这些权重包括链到别人网站的处链以及自己网站内的内链。 外链的话，除非是想坑被链的人。否则外链都是需要让搜索引擎所抓取。这不在本文讨论范围之内。 另外网站管理登陆页面，备份页面，测试页面等等，也是站长不想让搜索引擎所收录的。 下面笔者先介绍一下较为有效的几种方法： 1.在FLASH展示不想被收录的内容 众所周知，搜索引擎对FLASH的内容抓取能力有限，不能完全抓取所有FLASH的所有内容。但遗憾的是，也不能完全保证FLASH的所有内容都不会被抓取。因为谷歌和Adobe正努力的实现FLASH抓取技术。但是，这种技术目前还不成熟，所以在一些情况下，我们可能无法完全抓取所有的flash内容。 2.使用robos文件 这是暂时最有效的方法，但有个很大的缺点。就是不传出任何的内容及链接。大家知道，在SEO来说比较健康的页面应该是有进有出的。有外链的链入，同时也页面内也需要有链到外部网站的链接，所以robots文件控制，让此页面只进不出，搜索引擎也不知道内容是什么。会把此页定为低质量页面。权重有可能受一定的惩罚。这个多用于网站管理页面，测试页面等。 3.使用nofollow标签包裹不想被收录的内容 这个方法也不能完全保证不被收录，因为这并不是严格要求遵守的标签。另外，如果有外部网站链向了有nofollow标签的页面。这样就很有可能会被搜索引擎抓取。 4.用Meta Noindex标签加上follow标签 这个方法可以做到防止收录而且还能传递出权重。要不要传递，看网站建设站长自己的需要。这个方法的缺点是，也是会较大的浪费蜘蛛的抓取页面时间。 5.用robots文件的同时在页面上使用iframe标签展示需要搜索引擎收录的内容robots文件可以阻止iframe标签以外的内容被收录 。所以，可以把不想收录的内容放到正常页面标签下。而想被收录的内容放在iframe标签内。 （编辑：汽车网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
推荐文章
站长推荐
