快讯| 教育| 外语| 辅导| 会计| 美容| 软件| 表演| 瑜伽| 针灸| 驾校| 书法| 音乐| 舞蹈| 司法| 留学| 演讲| 钢琴| 编程| 设计| 软件| 美发| 考研| 养生| 公务员| 电商
 
首页 » 培训资讯 » 教育 » 小学 » SEO人员如何与恶意“蜘蛛”暗度陈仓

SEO人员如何与恶意“蜘蛛”暗度陈仓

放大字体  缩小字体 时间:2021-02-22 10:40    来源:发外链  作者:6cu.com  热度:125
在做SEO的过程中,你是否遇到这样一种问题:服务器访问CPU使用率几乎100%,而且页面加。。。
 在做SEO的过程中,你是否遇到这样一种问题:服务器访问CPU使用率几乎100%,而且页面加载速度特别慢,貌似被DDOS攻击一样。

经过一番审查才发现原来自己的目标网站被大量不相关的“爬虫”频繁的抓取,这对于一个小网站来讲,可能是灭顶之灾。

因此,我们在做网站优化的时候,就需要针对特定蜘蛛有选择的引导。

那么,如何与恶意“蜘蛛”暗度陈仓?

根据以往SEO经验分享,蝙蝠侠IT,将通过如下内容阐述:

1、搜索引擎爬虫

对于国内的小伙伴,我们都知道在做SEO的过程中,我们面对的最常见的爬虫就是搜索引擎的爬虫,比如:百度蜘蛛,同时,还会面临各种搜索引擎的蜘蛛,比如:

①360Spider、SogouSpider、Bytespider

②Googlebot、Bingbot、Slurp、Teoma、ia_archiver、twiceler、MSNBot

③其他爬虫

如何你没有刻意的配置你的robots.txt文件的话,理论上,你的目标页面是都可以抓取与爬行的,但对于一些中小网站,它偶尔会严重浪费自己的服务器资源。

这个时候我们就需要做出有选择性的合理引导,特别是一些比较尴尬的问题,比如:你希望谷歌降低对网站爬行,而又不能完全屏蔽,你可能需要一些小技巧,比如:针对特定爬虫的访问,反馈不同的文章列表:

①控制更新频率的列表

②反馈大量重复性,内容农场的页面

③善意的“蜘蛛陷阱”比如:Flash

④如何对方SEO管理平台,可以调整抓取评论,适当调整一下

虽然,这样的策略,很可能造成页面信誉度受损,但这是我能想到,针对这些不希望经常爬行,而又需要保持爬行的蜘蛛,合理控制抓取的一个相对“有效”的方法。

2、链接分析爬虫

从目前来看,一个SEO外链分析管理工具,每天需要耗费大量的服务器资源去全网爬行与检测每一个网站的页面链接。

针对一些资源密集型的站点,每天可能爬行成千上万次,这样的爬虫屡见不鲜。

如果你不想自身的网站参与其中,最简单的策略就是在robots协议中,全封闭这样的爬虫。

3、内容采集爬虫

但当我们面对一些恶意的内容采集爬虫而言,就相对的尴尬,对方往往是采用“隐身”的状态,比如:模拟知名搜索引擎蜘蛛的名称。

针对这样的问题,我们只能手动的判断去审查一下对方的庐山真面,比如:利用IP泛解析命令,去判断一下,它到底是不是真的。

①Linux平台:hostip

②Widows平台:nslookupIP

从而去判断对方的解析地址,是否为对应的搜索引擎域名。

4、蜘蛛池爬虫

目前市面上有很多人做百度蜘蛛池,它主要的目的是辅助更多的页面做百度快速收录,但由于一些任意下载的蜘蛛池程序设计的不规范化。

没有做到合理的针对不同蜘蛛的爬行与限定,往往导致服务器资源被大量占用,很容易被服务商关停服务器。

如果你试图利用这个策略,提升自己页面收录,那么,你可能需要多加注意。(但我们并不推荐)

总结:SEO工作是一个细节性的工作,每个策略都影响着整站的运营状态,而上述内容只是浅析,适用于中小站长,仅供参考!

关于SEO人员如何与恶意“蜘蛛”暗度陈仓的要点介绍,希望对大家了解SEO人员如何与恶意“蜘蛛”暗度陈仓有所帮助,如有侵权,联系我们jingshangbao@foxmail.com。
 
你可能感兴趣:
 
百度算法针对恶意构建聚合页的打击该怎么办

2021-02-22

百度是国内搜索老大,做优化不得不看它的面子。把百度优化成功,那基本上就是搜索优化

SEO关键词密度你真的控制好了吗

2021-02-22

有人说关键词密度已经不是SEOER应该关注的事情了,其实关键词密度与SEO的关系是最为密

网站内容优化需要掌握哪些技巧

2021-02-22

随着互联网的飞速发展,在线营销已成为一种重要的推广手段。网站内容是网站最重要的元

SEO优化网站必备技巧有哪些

2021-02-22

我们都知道,SEO网站优化是建立在遵循搜索引擎规则上的,所以,了解搜索引擎对网站排

SEO是如何实现商品价值的媒介

2021-02-22

一个品牌想要有所价值首先得在生活体现出来,我们在经济角度来说就是产物实现商品等价

SEO挖掘热门关键词六大步骤

2021-02-22

我们都知道关键词引流是一个很重要的店铺引流的方式,可是关键词怎么设置,关键词怎么

站长吐槽:头条搜索爬虫暴力抓取网站内容

2021-02-22

最近有站长在网上发文吐槽表示,字节跳动为了快速发展搜索业务派出爬虫四处暴力抓取网

被搜索引擎K过的网站排名还能够恢复吗

2021-02-22

随着搜索引擎算法不断地调整,有些网站的优化方式不符合当下搜索引擎算法机制,或者是

如何制作网站及网站建设基本流程详解

2021-02-22

互联网时代,各行各业的企业为了适应时代的发展,纷纷从线下转移至线上来拓展自己的业

网站关键词排名容易忽略的6个错误

2021-02-22

在做SEO的过程中,针对网站关键词排名,做一些基础的关键词研究,是一个必经的过程,

 
热点图文
外贸B2B发展趋势 解读外贸B2B平台的四大发展趋势

外贸B2B发展趋势 解读外贸B2B平台的四大发展趋势

酒仙网旗下酒仙团中国酒类电子商务b2b市场研讨会在昆明召开

酒仙网旗下酒仙团中国酒类电子商务b2b市场研讨会在昆明召开

我国首个测绘地理信息行业B2B2C电商服务平台——“仪之宝”正式上线

我国首个测绘地理信息行业B2B2C电商服务平台——“仪之宝”正式上线

B2B成跨境电商2.0时代发力点  跨境电商效果外贸增长红利将释放

B2B成跨境电商2.0时代发力点 跨境电商效果外贸增长红利将释放

生鲜农产品行业盛会 B2B蔬菜生鲜物流成热门话题

生鲜农产品行业盛会 B2B蔬菜生鲜物流成热门话题

B2B生鲜电商新锐鲜易网杀入沈阳 开拓新市场

B2B生鲜电商新锐鲜易网杀入沈阳 开拓新市场

B2B电商模式:传统行业电商的B2B模式思考

B2B电商模式:传统行业电商的B2B模式思考

 
通学网 — 学校教育机构培训门户 网站地图 | 特惠服务 | 关于我们 | 人才招聘 | 联系我们 | 法律声明