生活网
导航
本站首页
领会生活
情感生活
两性生活
同城生活
便民生活
生活动态
推广
笔记
生活
动态
分享
发布
交友
信息
生活产品
微商代理
产品货源
批发采购
产品供求
生活信息
休闲娱乐
招商加盟
教育培训
物流快递
餐饮美食
装饰装修
家具建材
农林牧渔
医疗健康
丽人丽妆
同城信息
生活黄页
商家黄页
网站黄页
企业黄页
商家店铺
生活招聘
招聘
企业招聘
人才招聘
职位招聘
求职
网络生活
网络营销
网站建设
网络
网络推广
营销推广
网络科技
网站收录
网络seo
生活资讯
新闻
资讯
生活服务
家政服务
商务服务
起名风水
房产中介
维修服务
家装服务
车辆服务
生活配送
物品回收
喷绘招牌
放心阿姨
运动健身
口腔护理
生活导航
站内搜索
生活论坛
生活网站
文档资料
学会生活
商城
关闭
关闭
返回首页
领会生活
情感生活
两性生活
同城生活
便民生活
生活动态
推广
笔记
生活
动态
分享
发布
交友
信息
生活产品
微商代理
产品货源
批发采购
产品供求
生活信息
休闲娱乐
招商加盟
教育培训
物流快递
餐饮美食
装饰装修
家具建材
农林牧渔
医疗健康
丽人丽妆
同城信息
生活黄页
商家黄页
网站黄页
企业黄页
商家店铺
生活招聘
招聘
企业招聘
人才招聘
职位招聘
求职
网络生活
网络营销
网站建设
网络
网络推广
营销推广
网络科技
网站收录
网络seo
生活资讯
新闻
资讯
生活服务
家政服务
商务服务
起名风水
房产中介
维修服务
家装服务
车辆服务
生活配送
物品回收
喷绘招牌
放心阿姨
运动健身
口腔护理
生活导航
站内搜索
生活论坛
生活网站
文档资料
学会生活
商城
当前位置:
首页
>
网络生活
>
营销推广
SEO,如何与恶意"蜘蛛"暗度陈仓?
生活小编
个人主页
日期:
2025-09-12
栏目:
营销推广
浏览:
加入收藏
在做
SEO
的过程中,你是否遇到这样一种问题:服务器访问CPU使用率几乎100%,而且页面加载速度特别慢,貌似被DDOS攻击一样。
经过一番审查才发现原来自己的目标网站被大量不相关的“爬虫”频繁的抓取,这对于一个小网站来讲,可能是灭顶之灾。
因此,我们在做网站
优化
的时候,就需要针对特定蜘蛛有选择的引导。
那么,如何与恶意“蜘蛛”暗度陈仓?
根据以往SEO经验分享,蝙蝠侠
IT
,将通过如下内容阐述:
1、搜索引擎爬虫
对于国内的小伙伴,我们都知道在做SEO的过程中,我们面对的最常见的爬虫就是搜索引擎的爬虫,比如:百度蜘蛛,同时,还会面临各种搜索引擎的蜘蛛,比如:
①360Spider、SogouSpider、Bytespider
②Googlebot、Bingbot、Slurp、Teoma、ia_archiver、twiceler、MSNBot
③其他爬虫
如何你没有刻意的配置你的robots.txt文件的话,理论上,你的目标页面是都可以抓取与爬行的,但对于一些中小网站,它偶尔会严重浪费自己的服务器资源。
这个时候我们就需要做出有选择性的合理引导,特别是一些比较尴尬的问题,比如:你希望谷歌降低对网站爬行,而又不能完全屏蔽,你可能需要一些小技巧,比如:针对特定爬虫的访问,反馈不同的文章列表:
①控制更新频率的列表
②反馈大量重复性,内容农场的页面
③善意的“蜘蛛陷阱”比如:Flash
④如何对方SEO管理平台,可以调整抓取评论,适当调整一下
虽然,这样的策略,很可能造成页面信誉度受损,但这是我能想到,针对这些不希望经常爬行,而又需要保持爬行的蜘蛛,合理控制抓取的一个相对“有效”的方法。
2、链接分析爬虫
从目前来看,一个SEO
外链
分析管理工具,每天需要耗费大量的服务器资源去全网爬行与检测每一个网站的页面链接。
针对一些资源密集型的站点,每天可能爬行成千上万次,这样的爬虫屡见不鲜。
如果你不想自身的网站参与其中,最简单的策略就是在robots协议中,全封闭这样的爬虫。
3、内容采集爬虫
但当我们面对一些恶意的内容采集爬虫而言,就相对的尴尬,对方往往是采用“隐身”的状态,比如:模拟知名搜索引擎蜘蛛的名称。
针对这样的问题,我们只能手动的判断去审查一下对方的庐山真面,比如:利用IP泛解析命令,去判断一下,它到底是不是真的。
①Linux平台:hostip
②Widows平台:nslookupIP
从而去判断对方的解析地址,是否为对应的搜索引擎
域名
。
4、
蜘蛛池
爬虫
目前市面上有很多人做百度蜘蛛池,它主要的目的是辅助更多的页面做百度快速收录,但由于一些任意下载的蜘蛛池程序设计的不规范化。
没有做到合理的针对不同蜘蛛的爬行与限定,往往导致服务器资源被大量占用,很容易被服务商关停服务器。
如果你试图利用这个策略,提升自己页面收录,那么,你可能需要多加注意。但我们并不推荐
总结:SEO工作是一个细节性的工作,每个策略都影响着整站的运营状态,而上述内容只是浅析,适用于中小
站长
,仅供参考!
原创作者/公号:蝙蝠侠IT
©
生活网版权声明:
1、本网站名称:
生活网
2、本站永久网址:
http://linghuishenghuo.com
3、本网站的文章部分内容可能来源于网络,仅供大家学习与参考,如有侵权,请联系站长进行删除处理。
4、
SEO,如何与恶意"蜘蛛"暗度陈仓?
点击访问网址链接直达
标签:
上一篇:
国内外10大站长权重查询站长工具
下一篇
:
网站关键词密度多少合适?
猜你喜欢
做广州网站建设有几个部分组成?;广州市几
网站建设中每个环节的重要性—网站建设注意
网站建设方案该如何写,网站建设方案
网站建设公司不得不知的网站托管解决方案(
快速网站建设 如何快速搭建一个网站
广州网站建设关于文字的注意事项? seo
吸引蜘蛛的办法都有哪些百度蜘蛛?_家里怎
如何信任一个网址,怎样添加安全网址
杭州网站定制(杭州衣柜定制哪个品牌好)
企业网站建设过程中的哪些因素很重要、网站